[논문 리뷰] Thin-Slicing Network: A Deep Structured Model for Pose Estimation in Videos

Jie Song, Limin Wang외 2명|arXiv (Cornell University)|2017. 03. 31.

Human Pose and Action Recognition참고 문헌 38인용 수 13

한 줄 요약

이 논문은 영상 기반 인간 자세 추정을 위한 완전 컨volution 신경망에 시공간적 추론을 통합한 깊이 있는 구조 모델인 Thin-Slicing Network을 제안한다. 밀도 있는 광학 흐름을 활용해 시간적 특징 전파를 수행하고, 순환적인 시공간 그래프에서 메시지 전달을 수행함으로써, 가림, 운동 흐림, 드문 자세와 같은 상황에서도 관절 검출 정확도를 향상시킨다. Penn Action 및 JHMDB 데이터셋에서 기존 방법 대비 평균 PCK 점수 4.7% 향상으로 최신 기술 수준을 달성한다.

ABSTRACT

Deep ConvNets have been shown to be effective for the task of human pose estimation from single images. However, several challenging issues arise in the video-based case such as self-occlusion, motion blur, and uncommon poses with few or no examples in training data sets. Temporal information can provide additional cues about the location of body joints and help to alleviate these issues. In this paper, we propose a deep structured model to estimate a sequence of human poses in unconstrained videos. This model can be efficiently trained in an end-to-end manner and is capable of representing appearance of body joints and their spatio-temporal relationships simultaneously. Domain knowledge about the human body is explicitly incorporated into the network providing effective priors to regularize the skeletal structure and to enforce temporal consistency. The proposed end-to-end architecture is evaluated on two widely used benchmarks (Penn Action dataset and JHMDB dataset) for video-based pose estimation. Our approach significantly outperforms the existing state-of-the-art methods.

연구 동기 및 목표

• 단일 영상 기반 방법에서 성능 저하를 초래하는 자가 가림, 운동 흐림, 희귀 자세 등의 과제를 해결하기 위해.
• 제약 없는 영상 시퀀스에서 시간적 일관성을 활용하여, 공간 사전 지식만으로는 달성할 수 없는 관절 국소화 정확도를 향상시키기 위해.
• 깊은 외관 특징과 구조적 시공간 관계를 동시에 최적화할 수 있는 엔드 투 엔드 학습 가능한 아키텍처를 개발하기 위해.
• 명시적인 운동 사전 지식에 의존하지 않고, 인간 신체 운동역학에 대한 도메인 지식을 순환 그래프 구조를 통해 암묵적으로 통합하기 위해.

제안 방법

• 모델은 입력 영상 프레임에서 초기 관절 히트맵을 회귀하기 위해 완전 컨volution 신경망을 사용한다.
• 접근 프레임 간에 밀도 있는 광학 흐름을 계산하여 예측된 히트맵을 시간적으로 왜곡함으로써 현재 프레임에 정렬한다.
• 새로운 시공간 추론 레이어는 순환적인 그래프의 공간(신체 부위 간 연결) 및 시간(프레임 간) 간선을 따라 반복적인 메시지 전달을 수행한다.
• 구조적 예측 프레임워크를 사용해 공간과 시간에서의 일관성을 강제함으로써 관절 위치의 불확실성을 감소시킨다.
• 전체 아키텍처는 엔드 투 엔드로 학습되며, backpropagation를 통해 컨volution 신경망 회귀기와 구조적 추론 구성요소를 동시에 정밀하게 조정할 수 있다.
• 이 방법은 공간 제약과 시간적 전파를 갖춘 그래프로 인간 뼈대를 명시적으로 모델링하여, 일시적인 시각적 열화에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 영상 기반 기준 대비 시공간적 구조 모델의 엔드 투 엔드 학습이 제약 없는 영상에서 자세 추정 정확도를 향상시키는가?
• RQ2 순환적인 시공간 그래프에서의 메시지 전달이 가림되거나 흐린 관절의 불확실성을 줄이는 데 얼마나 효과적인가?
• RQ3 광학 흐름 전파에 의한 시간적 일관성이 희귀하거나 모호한 자세의 검출에 얼마나 기여하는가?
• RQ4 외관 회귀기와 구조적 추론 레이어를 함께 최적화하는 것이 별도 학습보다 더 나은 일반화 성능을 이끌어내는가?

주요 결과

• Thin-Slicing Network는 Penn Action 데이터셋에서 기존 최신 기술 대비 평균 PCK 점수 4.7% 절대 향상률을 달성한다.
• JHMDB 데이터셋에서는 평균 PCK@0.2 점수가 92.1%를 기록하여, 수작업 특징 또는 순환 신경망을 사용한 모든 이전 방법을 초월한다.
• 손목과 발목과 같은 도전적인 관절에서의 성능이 크게 향상되었으며, Penn Action에서 발목의 평균 PCK가 10.4% 향상되었다.
• 가림이나 흐림이 없는 단순한 케이스에서도 다중 프레임 일관성을 활용함으로써 정확도가 향상되어, 관절 최적화가 단일 예측에 유의미한 이점을 제공함을 시사한다.
• 실패 사례는 주로 장시간의 운동 흐림이나 가림으로 인한 것으로, 더 긴 범위의 시간적 모델링이 더 강건한 성능 향상에 기여할 수 있음을 시사한다.
• 제거 분석 결과, 공간 및 시간 추론의 조합(ST-infer)가 공간 전용(S-infer) 및 기준 모델보다 높은 성능을 내며 최적의 성능을 달성함을 확인하였다.