[논문 리뷰] 3D Human Pose Estimation with Relational Networks

Sungheon Park, Nojun Kwak|arXiv (Cornell University)|2018. 05. 23.

Human Pose and Action Recognition참고 문헌 21인용 수 19

한 줄 요약

이 논문은 단일 이미지에서 3D 인간 자세 추정을 위한 관계형 신경망을 제안하며, 그룹화된 특징 상호작용을 통해 관절 간 상호관계를 활용한다. 관절의 손실이나 가림을 고려한 강건성을 향상시키기 위해 관계형 드롭아웃을 도입하여 Human 3.6M 데이터셋에서 최신 기술 수준의 성능을 달성한다. 특히 부분적 감독 또는 관절 가림 상황에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we propose a novel 3D human pose estimation algorithm from a single image based on neural networks. We adopted the structure of the relational networks in order to capture the relations among different body parts. In our method, each pair of different body parts generates features, and the average of the features from all the pairs are used for 3D pose estimation. In addition, we propose a dropout method that can be used in relational modules, which inherently imposes robustness to the occlusions. The proposed network achieves state-of-the-art performance for 3D pose estimation in Human 3.6M dataset, and it effectively produces plausible results even in the existence of missing joints.

연구 동기 및 목표

• 깊이의 모호성으로 인해 본질적으로 결정되지 않는 단일 2D 이미지에서 3D 인간 자세 추정 문제를 해결한다.
• 실제 환경에서 흔한 관절의 손실 또는 가림에 대한 일반화 능력과 강건성을 향상시킨다.
• 관절을 독립적으로 취급하는 대신 신체 부위 간의 관계적 의존성을 모델링하여 자세 추정 정확도를 향상시킨다.
• 관절 부재를 시뮬레이션하기 위해 훈련 중에 관절을 무작위로 제거하는 새로운 훈련 전략인 관계형 드롭아웃을 개발한다.
• 계층적 관계형 네트워크가 그룹 내 관절 간 상호관계를 더 잘 모델링하고, 노이즈가 많은 2D 검출에 대한 강건성을 향상시킬 수 있음을 입증한다.

제안 방법

• 16개의 2D 관절 입력을 겹치지 않는 다섯 개의 신체 그룹으로 나눈다: 왼쪽 팔, 오른쪽 팔, 왼쪽 다리, 오른쪽 다리, 허리.
• 모든 그룹 쌍 간의 쌍별 특징을 계산하고 평균을 내어 맥락 인식 표현을 생성하는 관계형 네트워크 모듈을 적용한다.
• 관계형 드롭아웃을 도입한다—훈련 중 순전파 과정에서 각 쌍의 특징 중 하나를 무작위로 제거하여 신체 부위 부재를 시뮬레이션한다.
• 계층적 관계형 네트워크를 설계하여 상호그룹 및 내부그룹 수준에서 모두 관계형 드롭아웃을 적용하여 부분적 관절 손실에 대한 강건성을 향상시킨다.
• Martinez 등 [19]의 영향을 받아 잔차 블록, 배치 정규화, ReLU 활성화 함수를 사용하여 특징 추출 및 회귀를 수행한다.
• 2단계 훈련 프로토콜을 사용하여 Human 3.6M 데이터셋에서 모델을 미세조정한다: 먼저 2D에서 3D로의 매핑에 대해 사전 훈련하고, 그 다음 관계형 모듈을 사용해 미세조정한다.

실험 결과

연구 질문

• RQ1 기본적인 완전 연결 네트워크와 비교해 신체 부위 간의 관계 모델링이 3D 자세 추정 정확도를 향상시키는가?
• RQ2 관계형 네트워크에 특화된 드롭아웃 전략이 관절 손실 또는 가림에 대한 강건성을 향상시키는가?
• RQ3 계층적 관계형 네트워크가 국소적 관절 의존성을 더 잘 모델링하고, 노이즈가 많은 2D 입력 상황에서 성능을 향상시키는가?
• RQ4 기본 모델 대비 다양한 관절 가림 시나리오에서 제안된 방법의 성능은 어떠한가?
• RQ5 관계형 드롭아웃 사용이 관절이 모두 가시한 경우 성능을 떨어뜨리지 않으면서도 관절 부재에 대한 강건성을 향상시키는가?

주요 결과

• 제안된 계층적 관계형 네트워크는 Human 3.6M 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기초 완전 연결 네트워크를 능가한다.
• 관계형 드롭아웃은 관절 손실에 대한 강건성을 크게 향상시킨다: 기존의 표준 드롭아웃 기반 기초 모델 대비 평균 12.5% MPJPE 감소.
• 관계형 드롭아웃을 적용한 계층적 관계형 네트워크(RN-hier-drop)는 랜덤 관절 손실, 왼쪽 팔 가림, 오른쪽 다리 가림 등 모든 관절 손실 시나리오에서 가장 낮은 MPJPE 기록.
• 두 개의 랜덤 관절이 손실된 경우, RN-hier-drop은 RN-drop 대비 MPJPE에서 15.3% 향상되어 내부그룹 관절 손실 처리에 있어 계층적 드롭아웃의 효과를 입증한다.
• 관계형 드롭아웃 방법은 관절이 모두 가시한 경우에도 성능을 유지하며, 원본 모델과 비교해 성능 저하가 없음을 확인하여 일반화 능력 향상의 효과를 입증한다.
• MPII 데이터셋에 대한 정성적 결과는, 2D 검출이 노이즈가 많거나 불완전한 경우 RN-hier-drop이 표준 RN보다 더 자연스러운 3D 자세를 생성함을 보여준다.