[논문 리뷰] P-CNN: Pose-based CNN Features for Action Recognition

Guilhem Chéron, Ivan Laptev외 1명|arXiv (Cornell University)|2015. 06. 11.

Human Pose and Action Recognition참고 문헌 33인용 수 4

한 줄 요약

이 논문은 추적된 인간 신체 부위에서 외관 및 운동 특징을 추출하고, 이를 시계열적으로 CNN을 사용해 통합함으로써 행동 인식에 효과적인 포즈 기반 컨볼루션 신경망 기반 기술자인 P-CNN을 제안한다. JHMDB 및 MPII Cooking 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 미세한 행동 인식에서 뛰어난 성능을 보이며, 밀도 있는 궤적 특징과 강한 상호보완성을 보인다.

ABSTRACT

This work targets human action recognition in video. While recent methods typically represent actions by statistics of local video features, here we argue for the importance of a representation derived from human pose. To this end we propose a new Pose-based Convolutional Neural Network descriptor (P-CNN) for action recognition. The descriptor aggregates motion and appearance information along tracks of human body parts. We investigate different schemes of temporal aggregation and experiment with P-CNN features obtained both for automatically estimated and manually annotated human poses. We evaluate our method on the recent and challenging JHMDB and MPII Cooking datasets. For both datasets our method shows consistent improvement over the state of the art.

연구 동기 및 목표

• 인간 포즈에서 유용한 구조적 공간-시계열 정보를 활용하여 미세한 행동 인식 성능을 향상시키기 위해.
• 전체 영상 기반 기술자보다 더 나은 성능을 내기 위해 신체 부위 수준에서 운동 및 외관 특징을 포괄하는 강건한 CNN 기반 기술자 설계를 위해.
• 수동으로 주석 처리된 포즈와 자동으로 추정된 포즈를 모두 사용하여 P-CNN 기술자의 효과성을 평가하기 위해.
• 기존 방법(예: IDT-FV)과의 상호보완성을 입증하여 전체 행동 인식 정확도를 향상시키기 위해.
• 미세한 행동에서 분류 가능한 운동 패턴을 포착하기 위해 포즈 기반 표현이 핵심임을 검증하기 위해.

제안 방법

• P-CNN는 영상 프레임 전반에 걸쳐 추적된 인간 신체 부위 주변의 국소 패치에서 RGB(외관) 및 옵티컬 플로우(운동) 특징을 추출한다.
• 각 신체 부위와 프레임에 대해 사전 훈련된 CNN을 사용하여 깊이 있는 특징을 추출함으로써 공간적 및 시계열적 구조를 유지한다.
• 시간에 따른 최소값 및 최대값 풀링을 사용해 각 신체 부위에 대해 정적 및 동적 기술자를 통합한다.
• 모든 신체 부위의 기술자를 정규화하고 연결하여 최종 외관 및 옵티컬 플로우 기술자를 구성한다.
• 최종 P-CNN 기술자 벡터는 모든 신체 부위 및 통합 방식에 대한 외관 및 플로우 기술자의 연결이다.
• 수동 주석 처리(GT) 및 자동 추정된 인간 포즈를 모두 사용하여 방법의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 전체 영상 기반 기술자와 비교해 포즈 기반 CNN 기술자가 특히 미세한 행동 인식에 있어 성능 향상에 기여하는가?
• RQ2 수동 주석 처리된 포즈와 자동 추정된 포즈를 사용할 때 P-CNN의 성능는 어떻게 다른가?
• RQ3 P-CNN 기술자가 IDT-FV와 같은 기존 방법과 얼마나 상호보완적인가?
• RQ4 신체 부위 수준에서 CNN 기술자의 시계열 통합이 미세한 행동에 대해 분류 능력을 향상시키는가?
• RQ5 기존 포즈 기반 방법(HLPF)에 비해 P-CNN 기술자가 포즈 추정 오차에 더 강건한가?

주요 결과

• JHMDB-GT 데이터셋에서 P-CNN는 IDT-FV와 조합했을 때 평균 정확도 79.5%를 달성하여 이전 최신 기술 수준(SOTA)을 초월한다.
• MPII Cooking 데이터셋에서 P-CNN는 IDT-FV와 조합하여 mAP 71.4%를 기록하여 이전 SOTA인 70.5%를 초월하고, 가장 높은 보고된 결과와 동일한 성능을 달성한다.
• MPII Cooking 데이터셋에서 P-CNN는 HLPF를 크게 능가하며, 특히 자동 추정된 포즈를 사용할 경우 포즈 추정 오차에 대한 강건성을 입증한다.
• 'shoot_gun', 'wave', 'throw'와 같은 행동에서 P-CNN는 IDT-FV보다 큰 성능 향상을 보이며, 일부 사례에서는 순위가 200 이상에서 30 이내로 향상되었다.
• 'kick_ball' 행동에서는 IDT-FV에 비해 성능 저하가 발생하여, 매우 동적인 행동은 전반적인 운동 특징이 더 잘 포착됨을 시사한다.
• 정성적 분석을 통해 P-CNN가 신체 부위 수준의 운동 및 외관에 집중함으로써 국소적이고 미세한 행동 인식에서 뛰어난 성능을 보임을 확인하였다.