[논문 리뷰] HEMlets Pose: Learning Part-Centric Heatmap Triplets for Accurate 3D Human Pose Estimation

Kun Zhou, Xiaoguang Han외 3명|arXiv (Cornell University)|2019. 10. 26.

Human Pose and Action Recognition참고 문헌 37인용 수 7

한 줄 요약

이 논문은 단일 이미지에서 3D 인간 자세 추정을 향상시키기 위해 운동학적으로 연결된 관절 간의 상대적 깊이 순서를 인코딩하는 새로운 파트 중심 히트맵 트리플릿 표현인 HEMlets Pose를 제안한다. 2D 관절 검출과 함께 이러한 중간 히트맵을 학습하고 소프트-아르그맥스 회귀를 사용함으로써, 이 방법은 Human3.6M에서 기존 방법 대비 약 20% 향상된 새로운 최고 성능 기록인 MPJPE 39.9mm를 달성한다.

ABSTRACT

Estimating 3D human pose from a single image is a challenging task. This work attempts to address the uncertainty of lifting the detected 2D joints to the 3D space by introducing an intermediate state - Part-Centric Heatmap Triplets (HEMlets), which shortens the gap between the 2D observation and the 3D interpretation. The HEMlets utilize three joint-heatmaps to represent the relative depth information of the end-joints for each skeletal body part. In our approach, a Convolutional Network (ConvNet) is first trained to predict HEMlests from the input image, followed by a volumetric joint-heatmap regression. We leverage on the integral operation to extract the joint locations from the volumetric heatmaps, guaranteeing end-to-end learning. Despite the simplicity of the network design, the quantitative comparisons show a significant performance improvement over the best-of-grade method (by 20% on Human3.6M). The proposed method naturally supports training with "in-the-wild" images, where only weakly-annotated relative depth information of skeletal joints is available. This further improves the generalization ability of our model, as validated by qualitative comparisons on outdoor images.

연구 동기 및 목표

• 운동학적으로 연결된 관절 간의 상대적 깊이 순서를 인코딩하는 중간, 학습 가능한 표현을 도입하여 2D 관절 검출을 3D 공간으로 올리는 데 발생하는 모호성과 불확실성을 해결하고자 한다.
• 밀도적인 픽셀 단위로 뼈대 파트 관절 간의 상대적 깊이 관계를 인코딩하여 3D 자세 추정 정확도를 향상시키고자 한다.
• 오직 상대적 깊이 애너테이션만을 제공하는 '인 더 와일드(in-the-wild)' 이미지에 대해 효과적인 훈련을 가능하게 하고자 한다.
• 간단한 엔드 투 엔드 학습 가능한 아키텍처를 통해 3D 회귀 작업을 더 쉽게 풀 수 있는 하위 작업들로 분해함으로써 최고 성능를 달성하고자 한다.

제안 방법

• 이 방법은 뼈대 파트의 두 끝 관절 간의 상대적 깊이 순서를 표현하기 위해 세 개의 히트맵(앞서서, 뒤로, 동일한 깊이)을 사용하는 파트 중심 히트맵 트리플릿(HEMlets)을 도입한다.
• 이중 브랜치 컨볼루션 네트워크는 입력 RGB 이미지로부터 2D 관절 히트맵과 HEMlets를 예측하며, 향상된 학습을 위해 중간 지도를 활용한다.
• 예측된 HEMlets와 2D 히트맵은 고수준 특징과 함께 두 번째 컨볼루션 네트워크에서 융합되어 각 관절에 대한 3D 체적 히트맵을 회귀한다.
• 최종 3D 관절 좌표는 미분 가능한 소프트-아르그맥스 연산을 통해 추출되며, 이는 엔드 투 엔드 학습을 가능하게 한다.
• 상대적 깊이 애너테이션만을 제공하는 데이터셋(예: Ordinal, FBI)을 활용하여 약한 지도 학습을 지원한다.
• 모델은 점진적으로 훈련된다: 먼저 2D 관절 검출, 그 다음 HEMlets 예측, 마지막으로 3D 히트맵 회귀

실험 결과

연구 질문

• RQ1 2D 관절 검출을 3D 공간으로 올리는 데 발생하는 모호성과 불확실성을 줄이기 위해 상대적 깊이 순서를 인코딩하는 중간 파트 중심 표현이 효과적인가?
• RQ2 2D 관절 히트맵과 함께 HEMlets를 학습시키는 것이 3D 자세 추정의 정확도와 일반화 능력에 어떤 영향을 미치는가?
• RQ3 오직 상대적 깊이 애너테이션만을 사용하여 훈련된 모델이 '인 더 와일드' 이미지에 대해 얼마나 잘 일반화되는가?
• RQ4 기존의 3D 히트맵 기반 또는 검출 기반 방법에 비해 제안된 HEMlets 표현이 정확도와 강건성 측면에서 뛰어나다고 할 수 있는가?

주요 결과

• 제안된 HEMlets 방법은 Human3.6M 벤치마크에서 기존 최고 성능 방법 대비 약 20% 향상된 새로운 최고 성능 기록인 MPJPE 39.9mm를 달성한다.
• 모델은 강력한 일반화 능력을 보이며, LSP와 MPI-INF-3DHP의 도전적인 '인 더 와일드' 이미지에서 자가 가림이나 극단적인 자세 조건에서도 시각적으로 정확한 3D 자세 추정을 수행한다.
• FBI 및 Ordinal과 같은 추가적인 약한 애너테이션 데이터셋을 사용하여 훈련하면 3DPCK 점수가 향상되며, FBI 애너테이션은 오차율이 낮아 더 높은 성능을 내는 것으로 보인다.
• 세 가지 깊이 상태를 가진 HEMlets 변형이 5s-HEM과 2s-HEM보다 수렴 속도와 최종 성능에서 뛰어나 최적의 깊이 이산화가 이루어졌음을 시사한다.
• 전체 모델은 GTX 1080 GPU에서 1회 추론당 13.3ms 내외로 실행되어 높은 정확도를 달성하면서도 효율적인 추론을 보인다.