[논문 리뷰] Dynamic Action Recognition: A convolutional neural network model for temporally organized joint location data

Adhavan Jayabalan, Harish Karunakaran외 2명|arXiv (Cornell University)|2016. 12. 20.

Human Pose and Action Recognition참고 문헌 21인용 수 6

한 줄 요약

이 논문은 일련의 시간적으로 정렬된 3차원 관절 위치 데이터로부터 인간의 동작을 인식하는 6층의 합성곱 신경망(CNN)을 제안하며, Cornell Activity Dataset에서 87%의 정확도를 달성한다. 관절 궤적을 순차적인 시공간 특징으로 모델링함으로써, 영상이나 이미지 기반 접근 방식보다 낮은 차원에서 효율적이고 높은 정확도의 동작 인식이 가능해진다.

ABSTRACT

Motivation: Recognizing human actions in a video is a challenging task which has applications in various fields. Previous works in this area have either used images from a 2D or 3D camera. Few have used the idea that human actions can be easily identified by the movement of the joints in the 3D space and instead used a Recurrent Neural Network (RNN) for modeling. Convolutional neural networks (CNN) have the ability to recognise even the complex patterns in data which makes it suitable for detecting human actions. Thus, we modeled a CNN which can predict the human activity using the joint data. Furthermore, using the joint data representation has the benefit of lower dimensionality than image or video representations. This makes our model simpler and faster than the RNN models. In this study, we have developed a six layer convolutional network, which reduces each input feature vector of the form 15x1961x4 to an one dimensional binary vector which gives us the predicted activity. Results: Our model is able to recognise an activity correctly upto 87% accuracy. Joint data is taken from the Cornell Activity Datasets which have day to day activities like talking, relaxing, eating, cooking etc.

연구 동기 및 목표

• 원시 영상 또는 이미지 데이터에 의존하지 않고 3차원 관절 위치 시계열 데이터로부터 인간의 동작을 인식하는 딥 러닝 모델을 개발하는 것.
• 관절 움직임의 시간적 정렬 특성을 활용하여 동작 인식 성능을 향상시키는 것.
• 고차원 영상 또는 이미지 입력 대신 저차원 관절 표현을 사용함으로써 계산 복잡도를 감소시키는 것.
• 관절 데이터를 사용한 동작 인식에서 CNN 기반 접근 방식과 RNN 기반 모델의 성능을 비교하는 것.
• 구조화된 저차원 관절 데이터를 사용하여 강력하고 효율적인 동작 인식이 가능한지를 입증하는 것.

제안 방법

• 모델은 15×1961×4 크기의 관절 특징 벡터 시퀀스를 입력으로 처리하며, 이는 98개의 관절에 대해 15프레임의 3차원 관절 좌표를 나타낸다.
• 시간적으로 정렬된 관절 데이터로부터 시공간 특징을 추출하기 위해 6층의 합성곱 신경망이 적용된다.
• 네트워크는 2D 합성곱을 사용하여 관절 간의 공간적 관계와 프레임 간의 시간적 동적 특성을 모두 캡처한다.
• 글로벌 평균 풀링을 통해 특징 맵을 1차원 벡터로 압축하고, 이는 최종 완전 연결층을 통해 분류에 전달된다.
• 출력은 예측된 동작 클래스를 나타내는 이진 벡터이며, 교차 엔트로피 손실을 사용하여 훈련된다.
• 모델은 원시 영상나 이미지 데이터 없이도 3차원 관절 위치를 제공하는 Cornell Activity Dataset에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 시간적으로 정렬된 3차원 관절 위치 데이터로부터 합성곱 신경망이 인간의 동작을 효과적으로 인식할 수 있는가?
• RQ2 관절 데이터를 사용한 동작 인식에서 CNN 기반 모델의 성능은 RNN 기반 모델과 비교해 어떻게 다른가?
• RQ3 영상이나 이미지 기반 방법에 비해 저차원 관절 데이터를 사용할 경우 추론 속도 향상과 모델 단순화에 얼마나 기여하는가?
• RQ4 깊이 있는 CNN 아키텍처를 사용할 때 관절 궤적 데이터만으로 달성 가능한 최대 인식 정확도는 얼마인가?
• RQ5 2D CNN을 순차적인 관절 데이터에 적용했을 때 관절 움직임의 공간적 및 시간적 패턴을 효과적으로 캡처할 수 있는가?

주요 결과

• 제안된 CNN 모델은 3차원 관절 위치 데이터만을 사용하여 Cornell Activity Dataset에서 87%의 인식 정확도를 달성한다.
• 모델은 영상이나 이미지 입력에 비해 훨씬 낮은 입력 차원으로도 높은 정확도를 달성할 수 있음을 보여준다.
• 관절 데이터에 대해 CNN을 사용함으로써 RNN과 같은 순환 모델 대비 더 빠른 추론과 더 단순한 아키텍처를 실현할 수 있다.
• 2D 합성곱을 순차적 데이터에 적용함으로써 관절의 공간적 구성과 프레임 간 시간적 동적 특성을 효과적으로 캡처하였다.
• 적절한 딥 러닝 아키텍처로 처리할 경우 관절 데이터만으로도 강력하고 안정적인 동작 인식이 가능하다는 것이 입증되었다.
• 계산 효율성이 향상된 동시에 이전의 RNN 기반 방법과 비슷하거나 뛰어난 정확도를 달성하였다.