[논문 리뷰] Structured Prediction of 3D Human Pose with Deep Neural Networks

Bugra Tekin, Isinsu Katircioglu외 3명|arXiv (Cornell University)|2016. 05. 17.

Human Pose and Action Recognition참고 문헌 30인용 수 48

한 줄 요약

이 논문은 단일 영상에서 3D 인간 자세를 구조화된 예측할 수 있도록 컨볼루션 신경망(CNN)과 과잉완성(auto-encoder)을 결합한 딥러닝 프레임워크를 제안한다. 관절 구성의 고차원 잠재 표현을 학습함으로써 신체 부위 간의 의존성을 암묵적으로 모델링하여, 직접 회귀나 마진 최대화 방법에 비해 최신 기술 수준의 정확도를 달성하고 구조 보존 성능을 향상시킨다.

ABSTRACT

Most recent approaches to monocular 3D pose estimation rely on Deep Learning. They either train a Convolutional Neural Network to directly regress from image to 3D pose, which ignores the dependencies between human joints, or model these dependencies via a max-margin structured learning framework, which involves a high computational cost at inference time. In this paper, we introduce a Deep Learning regression architecture for structured prediction of 3D human pose from monocular images that relies on an overcomplete auto-encoder to learn a high-dimensional latent pose representation and account for joint dependencies. We demonstrate that our approach outperforms state-of-the-art ones both in terms of structure preservation and prediction accuracy.

연구 동기 및 목표

• 깊이의 모호성과 가림 현상으로 인해 어려움을 겪는 단일 영상 기반 3D 인간 자세 추정 문제를 해결한다.
• 3D 자세 예측에서 관절 간 의존성을 忽시하는 직접 회귀 네트워크의 한계를 극복한다.
• 신체 관절 간 물리적 및 통계적 제약 조건을 모델링하여 구조 보존성과 예측 정확도를 향상시킨다.
• 회귀의 효율성과 구조화된 예측의 인덕티브 바이어스를 결합한 딥러닝 프레임워크를 개발한다.
• 과잉완성 auto-encoder를 통해 학습된 고차원 잠재 공간이 수작업 특징이나 주성분 분석(PCA)에 비해 자세 의존성을 더 효과적으로 암묵적으로 인코딩할 수 있음을 입증한다.

제안 방법

• 3D 관절 위치를 고차원 잠재 공간으로 매핑하는 과잉완성 auto-encoder를 훈련시켜 복잡한 관절 관계를 유지한다.
• CNN을 사용해 입력 영상에서 auto-encoder가 학습한 잠재 자세 표현으로 직접 회귀한다.
• 사전 훈련된 auto-encoder의 디코더를 CNN에 연결하여 전체 아키텍처의 엔드 투 엔드 미세조정을 가능하게 한다.
• auto-encoder의 은닉층을 인간 신체 통계 및 관절 제약 조건을 암묵적으로 모델링하는 구조화된 고차원 표현으로 활용한다.
• 3D 자세 추정을 최적화하기 위해 전체 네트워크를 엔드 투 엔드로 미세조정하여 일반화 능력과 정확도를 향상시킨다.
• 잠재 공간을 구조화된 출력 공간으로 사용하여, 커널 기반 방법(KDE 등) 대신 딥러닝 기반 데이터 기반 표현을 도입한다.

실험 결과

연구 질문

• RQ1 비용이 많이 들는 추론 시 최적화에 의존하지 않고도 딥 네트워크 아키텍처가 3D 인간 자세의 관절 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 과잉완성 auto-encoder를 통해 고차원 잠재 표현을 학습하는 것이 직접 회귀에 비해 3D 자세 예측 정확도를 향상시키는가?
• RQ3 auto-encoder의 잠재 공간이 인간 자세의 물리적 및 통계적 제약 조건을 암묵적으로 인코딩하여 더 나은 구조 보존성을 이끌 수 있는가?
• RQ4 최대 마진 구조화된 학습 및 커널 기반 방법에 비해 제안된 방법은 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ5 성능 향상의 원인은 auto-encoder의 표현력 때문인가, 아니면 단지 추가적인 네트워크 용량 때문인가?

주요 결과

• 제안된 방법은 훈련 후 Human3.6M 데이터셋에서 최신 기술 수준의 접근법을 초월하여 전체 신체 3D 자세 추정에서 평균 오차 11.90 mm를 달성한다.
• KDE 대비 25%, CNN-Direct 대비 12%의 사지 비율 오차 감소를 보이며, 특히 상체에서 더 나은 구조 보존성을 입증한다.
• 성능이 가장 뛰어난 auto-encoder 구성은 2000개의 뉴런을 가진 단일 층 또는 300개의 뉴런을 가진 두 층을 사용하며, 더 깊거나 넓은 아키텍처에서의 성능 향상은 없었다.
• 미세조정은 항상 성능 향상에 기여했으며, CNN-ExtraFC 및 CNN-PCA와 같은 베이스라인에 비해 유의미하게 뛰어난 성능을 보여, 학습된 auto-encoder 표현의 우수성을 입증한다.
• 복잡한 동작인 '사진 찍기'와 '개 산책' 등 다양한 동작에 걸쳐도 강력한 성능 유지를 보이며, 물리적 제약 조건이 뚜렷한 경우에도 유사한 성능 유지를 보였다.
• 시각적 분석 결과, 제안된 방법은 기존 방법에 비해 자연스러운 사지 길이 비율을 더 잘 유지함을 확인했으며, 오차 행렬에서 더 많은 셀이 파란색(이deal에 가까움)을 띠었다.