[논문 리뷰] Analysis and Evaluation of Kinect-based Action Recognition Algorithms

Lei Wang|arXiv (Cornell University)|2021. 12. 16.

Human Pose and Action Recognition인용 수 8

한 줄 요약

이 논문은 다섯 개의 벤치마크 데이터셋을 통해 깊이 및 스켈레톤 특징을 활용한 Kinect 기반 동작 인식 알고리즘을 평가하고 개선한다. 깊이 및 스켈레톤 특징을 통합한 제안된 HDG 변종은 다중시점 환경에서 가장 높은 시각 간 인식 정확도(61.9%)를 달성하여 HON4D, HOPC, RBD를 능가한다.

ABSTRACT

Human action recognition still exists many challenging problems such as different viewpoints, occlusion, lighting conditions, human body size and the speed of action execution, although it has been widely used in different areas. To tackle these challenges, the Kinect depth sensor has been developed to record real time depth sequences, which are insensitive to the color of human clothes and illumination conditions. Many methods on recognizing human action have been reported in the literature such as HON4D, HOPC, RBD and HDG, which use the 4D surface normals, pointclouds, skeleton-based model and depth gradients respectively to capture discriminative information from depth videos or skeleton data. In this research project, the performance of four aforementioned algorithms will be analyzed and evaluated using five benchmark datasets, which cover challenging issues such as noise, change of viewpoints, background clutters and occlusions. We also implemented and improved the HDG algorithm, and applied it in cross-view action recognition using the UWA3D Multiview Activity dataset. Moreover, we used different combinations of individual feature vectors in HDG for performance evaluation. The experimental results show that our improvement of HDG outperforms other three state-of-the-art algorithms for cross-view action recognition.

연구 동기 및 목표

• HON4D, HDG, HOPC, RBD의 네 가지 최신 Kinect 기반 동작 인식 알고리즘의 성능을 평가하고 비교하는 것.
• 심화된 분류 능력을 확보하기 위해 깊이 및 스켈레톤 특징을 통합한 HDG 알고리즘을 구현하고 개선하는 것.
• 시점 변화, 가림, 동작 속도 차이와 같은 도전적인 조건 하에서 시각 간 동작 인식 성능을 평가하는 것.
• HDG에서 다양한 특징 조합의 기여도를 분석하여 인식 정확도 향상에 기여하는 요소를 규명하는 것.
• 다중시점 환경에서 강력한 동작 인식을 위한 가장 효과적인 특징 표현 방식을 특정하는 것.

제안 방법

• 심화된 분류 능력을 확보하기 위해 깊이 기울기(HOD)와 관절 위치 및 속도 특징(JPD 및 JMV)을 통합하여 HDG 알고리즘을 개선하고 구현한 바.
• 노이즈, 시점 변화, 가림을 포함하는 다섯 개의 벤치마크 데이터셋—MSRAction3D, 3D Action Pairs, CAD-60, UWA3D Single View, UWA3D Multiview Activity—을 사용한 바.
• 일반화 능력을 평가하기 위해 다양한 시점 조합(예: 훈련에 시점 3과 4, 테스트에 시점 1 사용)을 활용한 시각 간 훈련 및 테스트 전략을 적용한 바.
• 최고의 인식 정확도를 달성하기 위해 체계적인 평가를 통해 HDG의 초모수를 최적화한 바.
• 히스토그램 기반 기술자 사용: HON4D(4차원 표면 법선), HOPC(점군의 방향성 주성분), RBD(회전 기반 스켈레톤 표현), HDG(관절 특징을 갖춘 깊이 기울기 히스토그램).
• 표준 평가 지표 사용: 시각 간 동작 인식을 위한 다양한 시점 조합에 대한 평균 인식 정확도.

실험 결과

연구 질문

• RQ1 HON4D, HDG, HOPC, RBD는 시점 변화와 가림과 같은 도전적인 조건 하에서 표준 벤치마크 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ2 HDG에 스켈레톤 특징(JPD, JMV)을 깊이 기울기와 통합함으로써 시각 간 동작 인식 정확도가 상당히 향상되는가?
• RQ3 HDG에서 어떤 특징 조합이 다양한 시점 구성에서 가장 높은 인식 성능을 내는가?
• RQ4 HOPC는 깊이 특징만을 사용하고도 노이즈 및 동작 속도 변화에 대해 더 뛰어난 내성성을 보이는 이유는 무엇인가?
• RQ5 특정 시점 조합(예: 시점 3과 4)에서 훈련하는 것과 다른 조합에서 훈련하는 것의 시각 간 인식 정확도에 미치는 영향은 무엇인가?

주요 결과

• 모든 특징을 포함한 개선된 HDG 알고리즘(HDG-all)은 UWA3D Multiview Activity 데이터셋에서 가장 높은 시각 간 인식 정확도 61.9%를 기록하였다.
• HDG에서 스켈레톤 기반 특징(JPD 및 JMV)은 깊이 전용 특징보다 더 높은 분류 능력을 제공하여 시점 변화에 대한 강건성을 크게 향상시켰다.
• HOPC는 노이즈, 신체 크기 변화, 동작 속도 변화에 대해 뛰어난 내성성을 보였으며, 단일시점 인식에서 71.5%의 정확도를 달성하였다.
• RBD-FTP는 가장 높은 단일시점 정확도(77.9%)를 기록했고, 시각 간 인식에서도 강력한 성능(56.0%)을 유지했지만, 계산 비용이 높았다.
• 시점 3과 4에서 훈련하고 시점 1에서 테스트한 조합이 다른 조합보다 더 높은 인식 정확도를 기록하여, 더 나은 시점 대응 및 일반화 능력을 가짐을 시사하였다.
• 혼동 행렬 분석 결과, 유사한 운동 궤적을 가지는 동작—예를 들어 한손 흔들기 vs. 양손 흔들기, 재채기 vs. 기침—는 외관 및 운동 유사성으로 인해 자주 오분류되었다.