[논문 리뷰] Leveraging Third-Order Features in Skeleton-Based Action Recognition.

Zhenyue Qin, Yang Liu외 6명|arXiv (Cornell University)|2021. 05. 04.

Human Pose and Action Recognition참고 문헌 14인용 수 6

한 줄 요약

이 논문은 그래프 신경망을 사용하여 뼈대 기반 행동 인식에 세 번째 차수의 각도 특징—즉, 관절 간의 관계를 나타내는 특징—를 통합하는 방법을 제안한다. 기존의 일阶 및 이阶 표현(관절과 뼈)과 이러한 기하학적 특징을 융합함으로써, 더 적은 파라미터 수와 더 낮은 추론 시간으로 NTU60 및 NTU120에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Skeleton sequences are light-weight and compact, and thus ideal candidates for action recognition on edge devices. Recent skeleton-based action recognition methods extract features from 3D joint coordinates as spatial-temporal cues, using these representations in a graph neural network for feature fusion, to boost recognition performance. The use of first- and second-order features, i.e., joint and bone representations has led to high accuracy, but many models are still confused by actions that have similar motion trajectories. To address these issues, we propose fusing third-order features in the form of angles into modern architectures, to robustly capture the relationships between joints and body parts. This simple fusion with popular spatial-temporal graph neural networks achieves new state-of-the-art accuracy in two large benchmarks, including NTU60 and NTU120, while employing fewer parameters and reduced run time. Our sourcecode is publicly available at: https://github.com/ZhenyueQin/Angular-Skeleton-Encoding.

연구 동기 및 목표

• 유사한 운동 궤적을 가진 행동을 인식하는 데 어려움을 겪는 기존 뼈대 기반 행동 인식 모델의 한계를 해결하기 위해.
• 신체 관절 간의 고차원 기하학적 관계를 캡처하여 인식의 강건성을 향상시키기 위해.
• 현대적인 공간-시간 그래프 신경망 아키텍처 내에서 제3차 특징—특히 관절 각도 표현—을 활용하여 성능을 향상시키기 위해.
• 모델 복잡도와 추론 시간을 줄이며 최신 기술 수준의 정확도를 달성하기 위해.

제안 방법

• 관절의 삼중조합에서 유도된 각도 특징을 도입하여 신체 부위 간의 기하학적 관계를 표현한다.
• 이러한 제3차 각도 특징을 일阶(관절 좌표) 및 이阶(뼈 벡터) 표현과 통합된 특징 공간에 융합한다.
• 융합된 특징은 시간 모델링 및 행동 분류를 위해 공간-시간 그래프 신경망을 통해 처리된다.
• 경량 아키텍처를 설계하여 엣지 디바이스에 효율적으로 구현할 수 있도록 한다.
• 기준 데이터셋에서 표준 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 제3차 각도 특징은 뼈대 시퀀스의 행동 인식 성능을 향상시킬 수 있는가?
• RQ2 관절 및 뼈 표현과의 각도 특징 융합은 모델의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ3 신체 부위 간의 기하학적 관계를 포함시킴으로써 유사한 운동 궤적을 가진 행동 간의 혼동을 줄일 수 있는가?
• RQ4 제안된 방법은 낮은 파라미터 수와 추론 시간을 유지하면서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 NTU60 및 NTU120 벤치마크에서 새로운 최신 기술 수준의 정확도를 달성한다.
• 기존 방법보다 더 낮은 파라미터 수를 사용하면서도 더 높은 정확도를 확보한다.
• 기존 모델 대비 추론 시간이 단축되어 엣지 배포에 더 적합하다.
• 각도 특징의 통합은 유사한 운동 패턴을 가진 행동에서 인식 성능 향상에 크게 기여한다.