[논문 리뷰] Structure-Aware and Temporally Coherent 3D Human Pose Estimation

Rishabh Dabral, Anurag Mundhada외 3명|arXiv (Cornell University)|2017. 11. 25.

Human Pose and Action Recognition참고 문헌 25인용 수 15

한 줄 요약

이 논문은 대규모 2D 자세 데이터와 구조 인식 손실을 활용하여 광범위한 3D 레이블이 필요한 것이 아니라 3D 표현을 학습하는 반감독 학습 기반 3D 인간 자세 추정 방법을 제안한다. 시간적 네트워크를 통합하여 시퀀스 수준의 일관성을 확보함으로써, 소비자용 GPU에서 30 FPS로 작동하면서도 기존 최고 성능(SOTA)을 11.8% 향상시킨다.

ABSTRACT

Deep learning methods for 3D human pose estimation from RGB images require a huge amount of domain-specific labeled data for good in-the-wild performance. However, obtaining annotated 3D pose data requires a complex motion capture setup which is generally limited to controlled settings. We propose a semi-supervised learning method using a structure-aware loss function which is able to utilize abundant 2D data to learn 3D information. Furthermore, we present a simple temporal network which uses additional context present in pose sequences to improve and temporally harmonize the pose estimates. Our complete pipeline improves upon the state-of-the-art by 11.8% and works at 30 FPS on a commodity graphics card.

연구 동기 및 목표

• 3D 레이블이 많은 데모에 의존하는 3D 인간 자세 추정의 의존도를 줄이기 위해.
• 제약 없는(실외 환경에서의) 일반화 및 정확도를 향상시키기 위해.
• 풍부한 2D 자세 레이블을 활용하여 3D 구조를 학습하기 위해.
• 영상 컨텍스트를 활용하여 순차적 자세 추정에서의 시간적 일관성을 향상시키기 위해.
• 일반 하드웨어에서 실시간 추론 성능를 달성하기 위해.

제안 방법

• 제안된 방법은 예측된 3D 자세의 해부학적 타당성을 강제하는 구조 인식 손실 함수를 사용한다.
• 제한된 3D 레이블 데이터와 대규모 2D 자세 데이터를 조합하여 반감독 학습을 수행한다.
• 시간적 네트워크를 도입하여 프레임 간의 순차적 의존성을 모델링함으로써 자세 일관성을 향상시킨다.
• 2D 감독 신호와 3D 구조 제약 조건을 동시에 최적화하여 종합적으로 학습한다.
• 실시간 추론을 위해 설계되어 표준 GPU에서 30 FPS 성능을 달성한다.
• 복잡한 운동 캡처 시스템이 필요 없으며, 널리 이용 가능한 2D 자세 데이터셋을 활용할 수 있다.

실험 결과

연구 질문

• RQ1 2D 레이블과 최소한의 3D 감독만으로 3D 인간 자세 추정 성능을 크게 향상시킬 수 있는가?
• RQ2 정답 3D 자세가 없이도 구조 인식 손실이 해부학적 현실성 강제에 얼마나 효과적인가?
• RQ3 시간적 컨텍스트를 모델링할 경우 자세 추정 정확도와 부드러움에 어느 정도 기여하는가?
• RQ4 경량 시간 네트워크가 일관성을 향상시키면서도 실시간 성능를 달성할 수 있는가?
• RQ5 제안된 방법이 실외 기준 벤치마크에서 기존 SOTA 방법을 능가하는가?

주요 결과

• 제안된 방법은 실외 환경에서의 3D 자세 추정 벤치마크에서 기존 SOTA 대비 11.8% 향상된 성능을 달성한다.
• 일반 그래픽 카드에서 30 FPS로 실행되어 실시간 추론이 가능하다.
• 제한된 3D 감독 조건에서도 2D 데이터와 구조 인식 손실을 활용함으로써 3D 자세 정확도가 크게 향상된다.
• 시간적 모델링은 영상 프레임 간에 더 일관되고 부드러운 자세 시퀀스를 만들어낸다.
• 특수한 운동 캡처 설정 없이도 제약 없는 환경으로의 일반화 성능가 뛰어나다.
• 소량의 3D 레이블 데이터와 대규모 2D 레이블을 사용하여도 강력한 성능을 보여준다.