[논문 리뷰] Compositional Human Pose Regression

Xiao Sun, Jiaxiang Shang외 2명|arXiv (Cornell University)|2017. 04. 01.

Human Pose and Action Recognition인용 수 55

한 줄 요약

본 논문은 뼈대로 자세를 표현하고 골격 구조를 활용하기 위한 합성 손실을 사용하는 구조 인식 회귀 방법을 제시하여 3D 및 2D 자세 추정 성능을 향상시키고, 혼합 2D/3D 데이터로의 통합 학습을 가능하게 한다.

ABSTRACT

Regression based methods are not performing as well as detection based methods for human pose estimation. A central problem is that the structural information in the pose is not well exploited in the previous regression methods. In this work, we propose a structure-aware regression approach. It adopts a reparameterized pose representation using bones instead of joints. It exploits the joint connection structure to define a compositional loss function that encodes the long range interactions in the pose. It is simple, effective, and general for both 2D and 3D pose estimation in a unified setting. Comprehensive evaluation validates the effectiveness of our approach. It significantly advances the state-of-the-art on Human3.6M and is competitive with state-of-the-art results on MPII.

연구 동기 및 목표

• 회귀 기반 자세 추정이 전통적인 탐지 방법과 함께 자세 구조를 활용하도록 동기를 부여한다.
• 뼈대 기반 자세 표현을 제시하여 관절보다 더 안정적이고 학습 가능한 특징을 얻는다.
• 골격 경로를 따라 장거리 일관성을 강제하는 합성 손실을 도입한다.
• 혼합 2D/3D 데이터를 포함한 2D 및 3D 자세 회귀의 통합 학습을 시연한다.
• 3D(Human3.6M) 및 2D(MPII) 벤치마크에서 평가하고 최첨단 방법들과 비교한다.

제안 방법

• 몸짓을 관절에서 뼈대로 재매개함, 정의는 B_k = J_parent(k) - J_k.
• Bone 기반 회귀 손실 L(B)를 최소화한다. L(B) = sum_k || tilde(B_k) - tilde(B_k_gt) ||_1.
• 뼈대 경로를 따라 상대 관절 위치 Delta J_u,v를 강제하는 합성 장거리 손실 L(B, P)를 도입하며, 경로를 따라 뼈의 합으로 계산되고 미분 가능한 합성 계층으로 처리된다.
• 골격 구조 활용의 영향을 평가하기 위해 여러 관절 쌍 집합 P(joint, bone, both, all)를 고려한다.
• 출력 크기가 2K 또는 3K인 2D/3D 회귀의 통합을 지원하고, 혼합 학습 데이터와 xy 및 z 구성 요소로의 공유 손실 분해를 제공한다.
• 백본으로 ResNet-50을 사용하고 ImageNet에서 사전 학습되었으며, SGD로 25 에포크 미세 조정, 표준 데이터 증가 및 두-GPU 학습을 수행한다.

실험 결과

연구 질문

• RQ1 뼈대 기반 표현과 합성 손실이 직접 관절 회귀에 비해 자세 구조를 더 잘 포착할 수 있는가?
• RQ2 장거리 골격 제약을 활용하면 3D 및 2D 자세 정확도와 기하학적 타당성이 향상되는가?
• RQ3 학습 중 2D와 3D 데이터를 혼합하는 것이 통합 포즈 회귀에 이롭습니까?
• RQ4 제안된 방법은 3D Human3.6M 및 2D MPII 벤치마크에서 최첨단 방법과 비교해 어느 정도 성능을 보이는가?
• RQ5 전통적인 관절 위치 정확도 이외의 기하학적 타당성을 드러내는 지표는 무엇인가?

주요 결과

• 뼈대 기반 표현은 관절 기반 기준선에 비해 뼈 길이를 더 안정적으로 만들고 기하학적 제약 지표를 개선한다.
• 합성 손실(특히 모든 관절 쌍을 사용할 때)이 Human3.6M에서 관절 및 뼈 오차, 뼈 안정성, 관절 각도 합법성 등을 크게 향상시킨다.
• 훈련에 MPII 2D 데이터를 추가하면 Joint Error가 크게 감소한다(예: Protocol 2에서 102.2에서 64.2로).
• 본 방법(all)은 회귀 방법 중 최첨단이며 MPII에서 검출 기반 방법과 경쟁력 있는 성능을 보인다.
• Human3.6M에서 Ours(all)는 보고된 설정에서 Joint Error를 92.4 mm, PA Joint Error를 67.5 mm로 감소시키며, 혼합 2D+3D 데이터 사용 시 추가 개선이 있다.
• 이 접근법은 실제 MPII 이미지에서 합리적인 3D 포즈를 생성하여 전이 학습 가능성을 시사한다.