[논문 리뷰] Skeletal Movement to Color Map: A Novel Representation for 3D Action Recognition with Inception Residual Networks

Huy Hieu Pham, Louahdi Khoudour외 3명|arXiv (Cornell University)|2018. 07. 18.

Human Pose and Action Recognition참고 문헌 23인용 수 6

한 줄 요약

이 논문은 3D 인간 동작 시퀀스를 자세 및 운동 특징을 조합하여 색상으로 코딩된 이미지로 표현하는 새로운 뼈대 표현 방식인 SPMF를 제안한다. 이는 딥 Inception-Residual 네트워크를 사용하여 효과적인 3D 동작 인식을 가능하게 한다. 이 방법은 기존 접근 방식보다 낮은 계산 비용으로 MSR Action3D(98.56%) 및 NTU-RGB+D(86.15% cross-view)에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

We propose a novel skeleton-based representation for 3D action recognition in videos using Deep Convolutional Neural Networks (D-CNNs). Two key issues have been addressed: First, how to construct a robust representation that easily captures the spatial-temporal evolutions of motions from skeleton sequences. Second, how to design D-CNNs capable of learning discriminative features from the new representation in a effective manner. To address these tasks, a skeletonbased representation, namely, SPMF (Skeleton Pose-Motion Feature) is proposed. The SPMFs are built from two of the most important properties of a human action: postures and their motions. Therefore, they are able to effectively represent complex actions. For learning and recognition tasks, we design and optimize new D-CNNs based on the idea of Inception Residual networks to predict actions from SPMFs. Our method is evaluated on two challenging datasets including MSR Action3D and NTU-RGB+D. Experimental results indicated that the proposed method surpasses state-of-the-art methods whilst requiring less computation.

연구 동기 및 목표

• 3D 인간 동작의 복잡한 시공간 역동성을 뼈대 시퀀스에서 효과적으로 표현하는 데 도전한다.
• 새로운 이미지 기반 뼈대 표현에서 분류 가능한 특징을 효과적으로 학습할 수 있는 딥 러닝 프레임워크를 설계한다.
• 기존 방법과 비교해 계산 복잡도를 줄이며 동작 인식 정확도를 향상시킨다.
• 초기 시도로, 뼈대 기반 동작 인식에 매우 깊은 Inception-ResNet 아키텍처를 적용할 수 있는지를 탐색한다.

제안 방법

• SPMF는 3D 뼈대 관절 간의 프레임 간 유클리드 거리(JJD)를 계산하여 자세 및 운동 특징을 캡처함으로써 구성된다.
• 자세 특징(PFs)은 정적 관절 거리에서 유도되며, 운동 특징(MFs)은 연속 프레임 간 이러한 거리의 시간적 차이로 계산된다.
• SPMF 표현은 이 특징들을 2차원 색상 이미지로 매핑하며, 공간적 레이아웃은 관절 구성 구조를, 색상 강도 변화는 시간적 변화를 표현한다.
• SPMF 이미지에서 계층적 특징을 추출하고 동작을 종단 간(end-to-end)으로 분류하기 위해 Inception-ResNet 아키텍처 기반의 맞춤형 딥 러닝 프레임워크를 사용한다.
• 깊은 아키텍처에서 기울기 흐름과 특징 학습을 향상시키기 위해 잔차 연결과 Inception 모듈을 활용한다.
• 훈련에는 He 초기화, 코스인 감쇠 스케줄을 가진 Adam 옵timizer를 사용하며, MSR Action3D와 같이 작은 데이터셋에서는 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 3D 뼈대에서 정적 자세와 동적 운동 특징을 통합한 유일한 표현 방식이 복잡한 인간 동작을 효과적으로 캡처할 수 있는가?
• RQ2 딥 Inception-ResNet 네트워크가 SPMF로 인코딩된 색상 이미지에서 기존 RNN이나 수작업 특징보다 더 효과적으로 분류 가능한 특징을 학습할 수 있는가?
• RQ3 제안된 SPMF 표현 방식은 최신 기술 수준의 방법과 비교해 계산 비용을 줄이며 정확도를 향상시킬 수 있는가?
• RQ4 제안된 방법은 다양한 평가 프로토콜, 예를 들어 벤치마크 데이터셋에서의 교차 주관 및 교차 시각 설정에서 잘 일반화될 수 있는가?

주요 결과

• SPMF Inception-ResNet-222 모델은 MSR Action3D 데이터셋에서 평균 정확도 98.56%를 기록하여 이전 최고 기록을 초월했다.
• NTU-RGB+D 데이터셋에서 교차 시각 평가 프로토콜에서 86.15%의 정확도를 달성하여 새로운 최고 기록을 수립했다.
• NTU-RGB+D에서 교차 주관 평가에서 78.89%의 정확도를 기록했으며, 이는 이전 방법보다 유의미한 격차로 앞서는 성능이었다.
• 훈련 시간은 시퀀스당 1.85×10⁻³초였고, 단일 GPU에서 추론 시간은 시퀀스당 0.128초였으며, 이는 실시간 적용 가능성을 보여주었다.
• 중간 특징의 시각화 결과, 네트워크가 SPMF 입력으로부터 공간적·시간적으로 일관된 표현을 학습하고 있음을 확인했다.
• 제거 실험 결과, SPMF에서 자세 및 운동 특징을 모두 조합할 경우 한 가지 특징만 사용하는 것보다 훨씬 뛰어난 성능을 내는 것으로 확인되었다.