[논문 리뷰] ActionXPose: A Novel 2D Multi-view Pose-based Algorithm for Real-time Human Action Recognition

Federico Angelini, Zeyu Fu외 3명|arXiv (Cornell University)|2018. 10. 29.

Human Pose and Action Recognition참고 문헌 39인용 수 19

한 줄 요약

ActionXPose는 RGB 영상에서 검출한 OpenPose 기반 신체 관절점을 활용하여 2D 다중 시점 자세 기반 인간 행동 인식을 실시간으로 수행하는 알고리즘입니다. 1D CNN과 LSTM 네트워크를 조합하여 분류하며, i3DPost 및 KTH와 같은 자세 수준 HAR 데이터셋에서 최신 기술 수준의 성능을 달성합니다. 다양한 데이터셋 간 일반화 능력이 뛰어나고, 시점 변화, 카메라 움직임, 주체 거리 변화에 대해 뛰어난 강인성을 보입니다.

ABSTRACT

We present ActionXPose, a novel 2D pose-based algorithm for posture-level Human Action Recognition (HAR). The proposed approach exploits 2D human poses provided by OpenPose detector from RGB videos. ActionXPose aims to process poses data to be provided to a Long Short-Term Memory Neural Network and to a 1D Convolutional Neural Network, which solve the classification problem. ActionXPose is one of the first algorithms that exploits 2D human poses for HAR. The algorithm has real-time performance and it is robust to camera movings, subject proximity changes, viewpoint changes, subject appearance changes and provide high generalization degree. In fact, extensive simulations show that ActionXPose can be successfully trained using different datasets at once. State-of-the-art performance on popular datasets for posture-related HAR problems (i3DPost, KTH) are provided and results are compared with those obtained by other methods, including the selected ActionXPose baseline. Moreover, we also proposed two novel datasets called MPOSE and ISLD recorded in our Intelligent Sensing Lab, to show ActionXPose generalization performance.

연구 동기 및 목표

• RGB 영상 입력만을 사용하여 실시간 인간 행동 인식을 위한 새로운 2D 다중 시점 자세 기반 알고리즘을 개발하는 것.
• 다양한 자세 수준 데이터셋 간 일반화 능력을 향상시키기 위해 다중 데이터셋에서의 공동 학습을 가능하게 하는 것.
• 시점 변화, 카메라 이동, 주체 거리 변화 및 외관 변화에 대해 강인성을 확보하는 것.
• 제약 없는 기록 조건에서의 일반화 성능 평가를 위해 MPOSE와 ISLD라는 두 개의 새로운 데이터셋을 제안하는 것.
• 최소한의 입력 데이터(14개의 신체 관절점)로도 표준 자세 수준 HAR 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• RGB 영상 프레임에서 OpenPose를 사용해 2D 신체 관절 좌표(14개의 랜드마크)를 추출하여 입력 특징으로 활용.
• 카메라 이동, 줌 인/아웃, 주체 거리 변화 등의 영향을 보완하기 위해 자세 시퀀스를 정규화하는 사전 처리 파이프라인 적용.
• 정규화된 자세 시퀀스를 1D 컨volutional 신경망(1D-CNN)을 통해 공간-시간 특징을 추출.
• 1D-CNN 특징와 LSTM 네트워크를 조합하여 행동 시퀀스의 장거리 시간적 의존성을 모델링.
• MPOSE 및 ISLD를 포함한 다중 데이터셋 간 공동 학습이 가능한 엔드 투 엔드 학습 전략 적용.
• LSTM이 다양한 길이의 입력 시퀀스를 처리할 수 있도록 하여 고정 길이 제약 없이 시간 모델링의 유연성을 확보.

실험 결과

연구 질문

• RQ1 2D 신체 관절점만을 사용하는 자세 기반 접근법이 RGB 영상에서 자세 수준 인간 행동 인식에서 최신 기술 수준의 성능를 달성할 수 있는가?
• RQ2 ActionXPose는 다양한 시점, 기록 조건, 행동 스타일을 가진 다수의 데이터셋 간에 얼마나 효과적으로 일반화되는가?
• RQ3 제안된 사전 처리 전략이 카메라 이동, 줌, 주체 거리 변화의 영향을 얼마나 효과적으로 완화하는가?
• RQ4 다양한 데이터셋에서의 공동 학습이 모델의 일반화 능력과 미리 보지 않은 데이터에 대한 성능 향상에 기여하는가?
• RQ5 기존 기준 모델 및 최신 기술 수준의 접근법과 비교했을 때, ActionXPose는 표준 및 신규 제안된 데이터셋에서 어떤 성능을 보이는가?

주요 결과

• ActionXPose는 i3DPost 및 KTH 데이터셋에서 최신 기술 수준의 성능를 달성하며, OpenPose 기반 기준 모델 및 기타 기존 방법들을 능가합니다.
• MPOSE 및 ISLD를 포함한 다양한 데이터셋 간에도 효과적인 일반화 능력을 보이며, 시점, 카메라 이동, 주체 거리 변화에 대해 매우 강인한 성능를 입증합니다.
• 단지 14개의 신체 관절 좌표만을 입력으로 사용함에도 불구하고 높은 정확도를 달성하여, 최소한의 자세 데이터로부터 효과적인 특징 학습이 가능함을 시사합니다.
• MPOSE 데이터셋에서 15에서 358개의 타임스텝까지 다양한 길이의 시퀀스를 처리할 수 있어, 실시간 및 온라인 행동 탐지에 적합한 유연성을 입증합니다.
• MPOSE에서 ISLD로의 전이 학습 시 성능 저하가 발생하며, 행동 실행 스타일의 차이로 인해 도메인 일반화 능력 향상 여지가 있음을 시사합니다.
• ActionXPose는 실시간으로 동작하며, 주로 OpenPose 자세 검출기의 성능에 의해 제한되며, 실세계 감시 및 상호작용 응용 분야에서의 실현 가능성을 확인합니다.