[논문 리뷰] Fine-grained Activity Recognition with Holistic and Pose based Features

Leonid Pishchulin, Mykhaylo Andriluka외 1명|arXiv (Cornell University)|2014. 06. 07.

Human Pose and Action Recognition참고 문헌 26인용 수 13

한 줄 요약

이 논문은 410개의 활동으로 구성된 대규모 데이터셋에서 통합적(밀도 있는 궤적) 및 자세 기반 특징을 비교함으로써 미세한 수준의 인간 활동 인식을 조사한다. 두 표현 방식이 매우 상호보완적이며, 활동 유형에 따라 성능이 크게 달라짐을 발견하였고, 그 조합이 가장 우수한 성능을 내며, 과도한 클래스에서 평균 23.5% mAP를 달성함을 보여준다.

ABSTRACT

Holistic methods based on dense trajectories are currently the de facto standard for recognition of human activities in video. Whether holistic representations will sustain or will be superseded by higher level video encoding in terms of body pose and motion is the subject of an ongoing debate. In this paper we aim to clarify the underlying factors responsible for good performance of holistic and pose-based representations. To that end we build on our recent dataset leveraging the existing taxonomy of human activities. This dataset includes 24,920 video snippets covering 410 human activities in total. Our analysis reveals that holistic and pose-based methods are highly complementary, and their performance varies significantly depending on the activity. We find that holistic methods are mostly affected by the number and speed of trajectories, whereas pose-based methods are mostly influenced by viewpoint of the person. We observe striking performance differences across activities: for certain activities results with pose-based features are more than twice as accurate compared to holistic features, and vice versa. The best performing approach in our comparison is based on the combination of holistic and pose-based approaches, which again underlines their complementarity.

연구 동기 및 목표

• 다양한 활동 범위에서 통합적 및 자세 기반 특징의 상대적 성능을 평가하기 위해.
• 궤적 속도, 시점, 가림, 자세 복잡도와 같은 요소들이 각 표현 방식의 성공 또는 실패에 미치는 영향을 규명하기 위해.
• 통제된 벤치마크를 넘어서 실제적이고 다양한 비디오 환경에서 자세 기반 특징이 통합 방법을 능가할 수 있는지 평가하기 위해.
• 서로 다른 강점이 있는 두 표현 방식의 조합이 뛰어난 성능을 내는지 확인하기 위해.

제안 방법

• 24,920개의 비디오 스니펫을 포함하고 있으며, 신체 자세와 시점 정보를 포함한 풍부한 애너테이션을 제공하는 MPI Human Pose 데이터셋을 사용한다.
• 통합적 표현으로서 밀도 있는 궤적(DT)을 활용하여, 밀도 있는 시공간 궤적에서 외관 및 운동 특징을 추출한다.
• 정답(GT) 및 예측(PS) 관절 위치를 사용한 자세 기반 특징을 적용하며, 시간 추적 기능이 있는지 여부(GT-T, PS-T) 및 다중 자세 추정(PS-M) 여부를 고려한다.
• DT 및 PS-M 특징을 연결하여 기반으로 하여 분류를 수행하며, SVM을 사용한 bag-of-words 프레임워크를 적용한다.
• 자세 기반 예측에 기반해 낮은 신뢰도를 가진 DT 궤적을 제거하는 필터링 전략을 적용하여 안정성을 향상시킨다.
• 15개의 가장 큰 활동 클래스에서 평균 평균 정밀도(mAP)를 사용하여 성능을 평가하며, 실패 및 성공 사례에 대한 정성적 분석도 수행한다.

실험 결과

연구 질문

• RQ1 다양한 종류의 미세한 수준의 인간 활동에서 통합적 특징과 자세 기반 특징의 성능를 어떻게 비교할 수 있는가?
• RQ2 궤적 속도, 궤적 수, 시점, 자세 복잡도 등의 요소 중에서 각 표현 방식의 성능에 가장 크게 영향을 주는 요소는 무엇인가?
• RQ3 통합적 특징과 자세 기반 특징가 얼마나 상호보완적인가? 그 조합이 더 높은 인식 정확도를 내는가?
• RQ4 어떤 활동 유형에서 자세 기반 특징이 통합적 특징을 능가하며, 반대로 어떤 경우에는 반대의 결과를 보이는가?
• RQ5 가림과 신체 부위의 가시성은 자세 추정의 신뢰성과 후속 인식 성능에 어떤 영향을 미치는가?

주요 결과

• 통합적 방법(DT)은 평균 19.0% mAP를 기록하는 반면, 자세 기반 방법(PS-M)은 20.2% mAP를 기록하지만, 활동 유형에 따라 성능 격차가 심각하게 나타난다.
• '요가, 파wr' 활동에서는 정답 자세 특징이 DT(10.6% mAP)와 PS-M(18.3% mAP)를 모두 능가하여 22.3% mAP를 기록하며, 명확하고 안정된 자세 덕분이다.
• PS-M 및 DT 특징의 조합(PS-M + DT)은 최고의 mAP 23.5%를 기록하며, 뚜렷한 상호보완성을 입증한다.
• '자전거 경기' 및 '골프' 활동에서는 조합된 방법이 개별 방법 대비 10퍼센트 이상 성능 향상을 보였다.
• 자세 기반 방법은 시점과 자세 복잡도에 가장 민감한 반면, 통합적 방법은 궤적 속도와 궤적 수에 가장 영향을 받는다.
• '목수일, 일반' 및 '요리' 활동에서는 모든 방법이 성능이 저하됨(mAP < 10%), 복잡하고 변동성이 큰 운동을 포착하는 데 큰 도전 과제가 있음을 시사한다.