[논문 리뷰] Action Recognition Based on Joint Trajectory Maps with Convolutional Neural Networks

Pichao Wang, Wanqing Li외 2명|arXiv (Cornell University)|2016. 12. 30.

Human Pose and Action Recognition인용 수 8

한 줄 요약

이 논문은 3D 스켈레톤 시퀀스를 상호수직인 평면에서의 관절 궤적을 나타내는 세 장의 2D 색상 이미지로 인코딩하는 Joint Trajectory Maps (JTM)를 제안한다. 이를 통해 사전 훈련된 ConvNets를 인간 행동 인식에 맞게 미세조정할 수 있으며, 보완적인 공간-시간 패턴과 점수 융합을 통해 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다. 특히 NTU RGB+D에서 뛰어난 성능을 보였다.

ABSTRACT

Convolutional Neural Networks (ConvNets) have recently shown promising performance in many computer vision tasks, especially image-based recognition. How to effectively apply ConvNets to sequence-based data is still an open problem. This paper proposes an effective yet simple method to represent spatio-temporal information carried in $3D$ skeleton sequences into three $2D$ images by encoding the joint trajectories and their dynamics into color distribution in the images, referred to as Joint Trajectory Maps (JTM), and adopts ConvNets to learn the discriminative features for human action recognition. Such an image-based representation enables us to fine-tune existing ConvNets models for the classification of skeleton sequences without training the networks afresh. The three JTMs are generated in three orthogonal planes and provide complimentary information to each other. The final recognition is further improved through multiply score fusion of the three JTMs. The proposed method was evaluated on four public benchmark datasets, the large NTU RGB+D Dataset, MSRC-12 Kinect Gesture Dataset (MSRC-12), G3D Dataset and UTD Multimodal Human Action Dataset (UTD-MHAD) and achieved the state-of-the-art results.

연구 동기 및 목표

• 딥 러닝 기반 행동 인식을 위한 3D 스켈레톤 시퀀스 내의 공간-시간 정보를 효과적으로 표현하는 문제를 해결하기 위해.
• 초기 학습 없이도 이미지 데이터에 대해 사전 훈련된 ConvNets를 스켈레톤 시퀀스 분류에 활용할 수 있도록 하기 위해.
• 세 개의 상호수직 평면에서의 보완적 표현과 후기 점수 융합을 통해 정확도를 향상시키기 위해.
• 회전된 스켈레톤 시각을 활용한 데이터 증강을 통해 시야 변화에 대한 강건성을 향상시키기 위해.
• 기존의 시퀀스 모델링 또는 수작업으로 만든 특징보다 이미지 기반 인코딩 방식의 효과성을 입증하기 위해.

제안 방법

• 3D 관절 궤적을 상호수직인 평면들(예: XY, XZ, YZ)에 투영하여 Joint Trajectory Maps (JTM)를 생성하며, 위치와 운동 역학을 색상 강도로 인코딩한다.
• 각 JTM는 시간에 따라 각 관절의 궤적을 색상으로 표현하여 공간적·시간적 구조를 유지하는 텍스처 유사 패턴을 생성한다.
• 스켈레톤 데이터에 대해 회전 증강을 적용하여 다양한 시각을 생성함으로써 교차 시야 데이터를 시뮬레이션하고 일반화 능력을 향상시킨다.
• 이미지 데이터에 대해 사전 훈련된 ImageNet ConvNets를 세 개의 JTM 이미지에 대해 미세조정하여 행동 분류를 위한 구분 능력 있는 특징을 추출한다.
• 세 개의 JTM 시각에서의 최종 예측을 후기 점수 평균 융합을 통해 융합함으로써 강건성과 정확도를 향상시킨다.
• 이 방법은 이미지 기반 표현에 기반한 전이 학습을 활용하여 깊은 네트워크를 처음부터 훈련할 필요 없이 구현한다.

실험 결과

연구 질문

• RQ1 3D 스켈레톤 시퀀스는 공간-시간 역학을 유지하는 2D 이미지 유사 표현으로 효과적으로 변환될 수 있는가?
• RQ2 세 개의 상호수직 JTM 시각은 단일 시각 표현을 넘어서 행동 인식 성능 향상에 기여하는 보완적 정보를 제공하는가?
• RQ3 자연 이미지에서 사전 훈련된 ConvNets가 JTM 입력을 통해 스켈레톤 시퀀스의 행동 인식에 효과적으로 미세조정될 수 있는가?
• RQ4 스켈레톤의 회전을 통한 데이터 증강은 성능 향상과 시야 일반화 능력 향상에 어떤 영향을 미치는가?
• RQ5 다양한 데이터셋에서 여러 JTM 시각의 점수 융합은 일관된 성능 향상 효과를 보이는가?

주요 결과

• 제안된 방법은 유사 입력 모odal을 사용한 이전 방법들보다 더 높은 정확도를 보이며, 대규모 NTU RGB+D 데이터셋에서 최신 기술 수준의 성능을 달성했다.
• G3D 데이터셋에서는 아홉 시각(θ, ψ ∈ {-22.5°, 0°, 22.5°})을 융합했을 때 95.15%의 인식 정확도를 기록했으며, 25개 시각을 사용했을 때도 유의미한 성능 향상이 없었다.
• 자연 좌표계(θ=0°, ψ=0°)에서 단일 시각 정확도가 가장 높았고, 95.12%였으며, 다양한 시각 간 정확도 변화는 미미했다.
• 자연 좌표계에서의 세 개의 상호수직 JTMs를 융합하면 개별 시각보다 더 높은 인식 정확도를 달성하여 보완적 정보의 유용성을 입증했다.
• 회전 증강은 특히 교차 시야 행동 인식에서 일반화 능력을 효과적으로 향상시켰으며, 명시적인 시야 모델링 없이도 성능 향상에 기여했다.
• NTU RGB+D, MSRC-12, G3D, UTD-MHAD 등 네 가지 다양한 데이터셋에서 뛰어난 성능을 기록하여 이 방법의 강건성과 일반화 능력을 확인했다.