[논문 리뷰] Human Pose Estimation from Depth Images via Inference Embedded Multi-task Learning

Keze Wang, Shengfu Zhai외 3명|arXiv (Cornell University)|2016. 08. 13.

Human Pose and Action Recognition참고 문헌 39인용 수 4

한 줄 요약

이 논문은 깊이 영상에서 인간 자세 추정을 위한 추론 통합 다중 작업 딥 러닝 프레임워크를 제안한다. 완전 컨volution 네트워크(FCN)를 사용해 히트맵을 예측하고, 동적 프ogram밍 추론을 통합한 새로운 MatchNet을 결합하여 외관과 3D 운동학적 호환성을 동시에 최적화한다. 이 방법은 도전적인 깊이 데이터에서 최신 기술 수준(SOTA)의 정확도를 달성하며, 기존 SDK 및 방법들을 능가하며, 유사한 추론 집약적 접근보다 190배 빠르다.

ABSTRACT

Human pose estimation (i.e., locating the body parts / joints of a person) is a fundamental problem in human-computer interaction and multimedia applications. Significant progress has been made based on the development of depth sensors, i.e., accessible human pose prediction from still depth images [32]. However, most of the existing approaches to this problem involve several components/models that are independently designed and optimized, leading to suboptimal performances. In this paper, we propose a novel inference-embedded multi-task learning framework for predicting human pose from still depth images, which is implemented with a deep architecture of neural networks. Specifically, we handle two cascaded tasks: i) generating the heat (confidence) maps of body parts via a fully convolutional network (FCN); ii) seeking the optimal configuration of body parts based on the detected body part proposals via an inference built-in MatchNet [10], which measures the appearance and geometric kinematic compatibility of body parts and embodies the dynamic programming inference as an extra network layer. These two tasks are jointly optimized. Our extensive experiments show that the proposed deep model significantly improves the accuracy of human pose estimation over other several state-of-the-art methods or SDKs. We also release a large-scale dataset for comparison, which includes 100K depth images under challenging scenarios.

연구 동기 및 목표

• 기존 깊이 영상에서의 인간 자세 추정 방법의 한계를 해결하기 위해, 특히 비정상 자세와 자기 음영을 다루는 데 초점한다.
• 기존 접근 방식에서 개별적으로 최적화된 구성 요소로 인한 열악한 성능을 극복한다.
• 특징 학습과 구조적 제약 조건을 동시에 최적화하는 통합된 딥 러닝 프레임워크를 개발한다.
• 자기 음영과 비표준 몸체 자세와 같은 복잡한 상황에서의 강인성과 정확도를 향상시킨다.
• 신경망 아키텍처에 동적 프로그래밍을 통합하여 효율적인 추론을 가능하게 한다.

제안 방법

• 깊이 영상 내 모든 신체 부위에 대한 신뢰도 점수를 나타내는 히트맵을 생성하기 위해 완전 컨volution 네트워크(FCN)를 사용한다.
• 외관 매칭과 3D 운동학적 제약 조건을 네트워크 레이어의 일부로 통합한 새로운 추론 내장형 MatchNet을 적용한다.
• 최적의 신체 부위 구성 설정을 찾기 위해 동적 프로그래밍 추론을 가중치로 가능한 레이어로 통합한다.
• 다중 작업 학습 목표를 사용해 FCN 및 MatchNet 구성 요소를 종단 간 최적화한다.
• 부위 제안과 템플릿 간 기하학적 및 외관 호환성을 활용해 최종 자세 추정을 정밀하게 조정한다.
• 인간 신체 구조에 기반한 타당한 관절 관계를 강제하는 3D 운동학적 제약 모델을 도입한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크가 깊이 영상에서의 인간 자세 추정을 위해 특징 추출과 구조적 추론을 동시에 최적화할 수 있는가?
• RQ2 신경망 아키텍처에 직접 추론(동적 프로그래밍)을 통합함으로써 자세 추정의 정확도와 효율성이 어떻게 향상되는가?
• RQ3 3D 운동학적 제약 조건을 통합함으로써 어려운 자세와 음영 상황에서의 성능 향상 정도는 어느 정도인가?
• RQ4 제안된 방법은 최신 기술 수준의 방법들과 상용 SDK와 비교해 정확도와 추론 속도 면에서 어떻게 성과를 내는가?
• RQ5 최종 자세 추정에서 외관 매칭과 기하학적 제약 조건 중 어느 것이 더 기여하는가?

주요 결과

• 제안된 방법은 K2HGD 데이터셋에서 최신 기술 수준의 성능을 달성하며, 최신 마이크로소프트 컨택트 SDK 및 기타 SOTA 방법들을 크게 능가한다.
• 추론 단계를 포함하고 있음에도 불구하고, 채른 등(Chen et al.)의 접근보다 190배 빠르고, 톰슨 등(Tompson et al.)의 방법보다 5배 빠르다.
• 추론 통합 MatchNet은 FCN 전용 및 FCN+표준-MatchNet 기반 모델보다 정확도가 높으며, 팔꿈치, 어깨, 무릎, 발목과 같은 핵심 관절에서 두드러진 성능 향상을 보였다.
• 3D 운동학적 제약 조건 구성 요소는 성능 향상에 크게 기여하여, 자세 추정에서 구조적 사전 지식의 중요성을 입증한다.
• 상용 SDK가 종종 실패하는 자기 음영과 비정상 자세 상황에서도 강인성을 보였다.
• 제거 실험 결과, 외관 매칭과 기하학적 호환성 둘 다 최적의 성능을 내기 위해 필수적임을 확인했다.