[논문 리뷰] Viewpoint Invariant 3D Human Pose Estimation with Recurrent Error Feedback

Albert Haque, Boya Peng외 4명|arXiv (Cornell University)|2016. 03. 23.

Human Pose and Action Recognition참고 문헌 53인용 수 9

한 줄 요약

이 논문은 상향식 오차 피드백을 통한 반복적 정밀 조정을 갖춘 깊이 컨볼루션 및 순환 네트워크를 사용하여 시점에 관계없이 3D 인간 자세 추정 모델을 제안한다. 시점에 강인한 특징을 학습하고 자가 보정 기능을 제공함으로써, 전방 시점 외의 극단적 시점에서도 최신 기술 수준(SOTA)의 성능을 달성하면서도 전방 시점에서도 뛰어난 성능을 유지한다.

ABSTRACT

We propose a viewpoint invariant model for 3D human pose estimation from a single depth image. To achieve viewpoint invariance, our deep discriminative model embeds local regions into a learned viewpoint invariant feature space. Formulated as a multi-task learning problem, our model is able to selectively predict partial poses in the presence of noise and occlusion. Our approach leverages a convolutional and recurrent network with a top-down error feedback mechanism to self-correct previous pose estimates in an end-to-end manner. We evaluate our model on a previously published depth dataset and a newly collected human pose dataset containing 100K annotated depth images from extreme viewpoints. Experiments show that our model achieves competitive performance on frontal views while achieving state-of-the-art performance on alternate viewpoints.

연구 동기 및 목표

• 기존 방법이 성능을 저하시키는 극단적 시점에서 3D 인간 자세 추정의 과제를 해결한다.
• 선택적 부분 자세 예측을 통해 노이즈와 가림 현상이 있는 환경에서도 견고한 자세 추정을 가능하게 한다.
• 구분 특징 공간을 사용하여 시점 변화에 강인한 딥 러닝 프레임워크를 개발한다.
• 반복적 자세 정밀 조정을 위한 종단간 훈련이 가능한 순환 아키텍처와 오차 피드백을 도입한다.
• 극단적 시점에서 촬영한 10만 장의 깊이 영상으로 구성된 새로운 대규모 데이터셋에서 성능을 평가한다.

제안 방법

• 단일 깊이 영상을 처리하고 초기 3D 자세 추정을 생성하기 위해 깊이 컨볼루션 및 순환 신경망을 사용한다.
• 로컬 영상 영역을 학습된 시점에 간접적인 특징 공간에 매핑하여 시점 의존적 편향을 감소시킨다.
• 노이즈와 가림 상황에서 부분 자세를 선택적으로 예측할 수 있도록 다중 작업 학습으로 문제를 설정한다.
• 이전 예측의 잔차 오차를 사용하여 후속 예측을 정밀 조정하는 상향식 오차 피드백 메커니즘을 구현한다.
• 정확도와 시점 강인성을 동시에 최적화하기 위해 전체 모델을 종단간으로 훈련한다.
• 극단적 시점에서 촬영한 10만 장의 깊이 영상으로 구성된 새로 확보한 데이터셋을 훈련 및 평가에 활용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 극단적 시점에서도 일관된 3D 인간 자세 추정 성능을 달성할 수 있는가?
• RQ2 반복적 정밀 조정을 통해 오차 피드백 메커니즘이 자세 추정 정확도 향상에 얼마나 효과적인가?
• RQ3 시점에 간접적인 특징 학습이 비전방 시점에서의 성능 저하를 어느 정도 감소시킬 수 있는가?
• RQ4 가림과 센서 노이즈와 같은 도전적인 조건에서 모델의 성능은 어떠한가?
• RQ5 선택적 부분 자세 예측을 통한 다중 작업 학습이 실세계 상황에서의 강인성을 향상시키는가?

주요 결과

• 모델은 비전방(비전방) 시점에서 최신 기술 수준(SOTA)의 성능을 달성하며 기존 방법을 능가한다.
• 전방 시점에서도 모델은 경쟁적인 성능을 유지하여 모든 시점에서의 강인성을 입증한다.
• 반복적 정밀 조정을 위한 순환 오차 피드백 메커니즘이 예측 오차를 효과적으로 감소시킨다.
• 시점에 간접적인 특징 공간은 다양한 카메라 각도에서의 일반화 능력을 크게 향상시킨다.
• 다중 작업 학습 환경에서 선택적 부분 자세 예측 덕분에 노이즈와 가림에 대한 강인성이 향상된다.
• 극단적 시점에서 촬영한 10만 장의 깊이 영상으로 구성된 새로운 데이터셋에서의 평가를 통해 모델의 실세계 적용 효과성이 확인된다.