[논문 리뷰] 3D Human Pose Estimation with 2D Marginal Heatmaps

Aiden Nibali, Zhen He외 2명|arXiv (Cornell University)|2018. 06. 05.

Human Pose and Action Recognition참고 문헌 30인용 수 8

한 줄 요약

이 논문은 3D 인간 자세 추정 모델인 MargiPose를 제안한다. 이 모델은 체적 히트맵 대비 메모리 효율성과 미분 가능성 향상을 위해 xy, xz, zy 평면에서 2D 근방 히트맵을 예측한다. 소프트-아르맥스와 가우시안 정규화 손실을 결합함으로써 MPI-INF-3DHP 및 Human3.6M 데이터셋에서 최신 기준 성능을 달성하였으며, 각각 40.4 mm PA-MPJPE와 85.4% PCK를 기록하였다.

ABSTRACT

Automatically determining three-dimensional human pose from monocular RGB image data is a challenging problem. The two-dimensional nature of the input results in intrinsic ambiguities which make inferring depth particularly difficult. Recently, researchers have demonstrated that the flexible statistical modelling capabilities of deep neural networks are sufficient to make such inferences with reasonable accuracy. However, many of these models use coordinate output techniques which are memory-intensive, not differentiable, and/or do not spatially generalise well. We propose improvements to 3D coordinate prediction which avoid the aforementioned undesirable traits by predicting 2D marginal heatmaps under an augmented soft-argmax scheme. Our resulting model, MargiPose, produces visually coherent heatmaps whilst maintaining differentiability. We are also able to achieve state-of-the-art accuracy on publicly available 3D human pose estimation data.

연구 동기 및 목표

• 체적 히트맵 기반 3D 자세 추정의 메모리 및 미분 가능성 제한을 해결한다.
• 3D 자세 추정에서 히트맵 표현의 공간 일반화 능력과 해석 가능성 향상.
• 메모리 효율적이고 미분 가능한 아키텍처를 통해 단일 RGB 이미지에서 정확한 3D 관절 예측을 가능하게 한다.
• 수동으로 설계된 제약 없이 딥 러닝을 활용해 인간의 타당한 3D 자세에 대한 사전 지식를 암묵적으로 인코딩한다.
• 표준 3D 인간 자세 기준 테스트에서 최신 기준 성능을 달성하면서도 계산 효율성을 유지한다.

제안 방법

• 메모리 사용량을 줄이기 위해 체적 히트맵 대신 각 관절에 대해 xy, xz, zy 평면에서 2D 근방 히트맵을 예측한다.
• 히트맵에서 3D 관절 좌표를 회귀하기 위해 미분 가능한 함수를 유지하는 소프트-아르맥스 연산을 사용한다.
• 히트맵이 이상적인 2D 가우시안 분포를 근사하도록 픽셀 단위의 L2 손실을 도입하여 시각적 일관성과 예측 정확도를 향상시킨다.
• 입력 및 출력 좌표 공간을 정렬하기 위해 특징 변환 중 축 순열을 적용함으로써 더 나은 공간 표현 학습을 가능하게 한다.
• 예측된 근방 히트맵과 진짜 값 간의 평균 제곱 오차 손실을 사용하여 학습하며, 소프트-아르맥스를 통해 엔드 투 엔드의 미분 가능성을 확보한다.
• 기준 테스트 세트에서 일반화 능력과 평가 일관성을 향상시키기 위해 다중 크롭 추론과 프로크루스테스 정렬을 적용한다.

실험 결과

연구 질문

• RQ1 2D 근방 히트맵은 체적 히트맵에 비해 효과적이고 메모리 효율적인 대안이 될 수 있는가?
• RQ2 소프트-아르맥스 손실에 가우시안 정규화 항을 추가하면 히트맵 품질과 3D 관절 예측 정확도가 향상되는가?
• RQ3 제안된 MargiPose 아키텍처는 표준 3D 자세 추정 기준 테스트에서 기존 최신 기준 모델 대비 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ4 실내에서 촬영한 3D 데이터로만 훈련된 모델이 다양한 자세와 가림을 포함한 실제 환경 이미지로의 일반화 능력은 어느 정도인가?
• RQ5 다중 단계 감독, 축 순열, 정규화와 같은 아키텍처 구성 요소가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• 정정된 레이블을 사용하여 MargiPose는 MPI-INF-3DHP 데이터셋에서 최신 기준 성능인 40.4 mm PA-MPJPE와 85.4% PCK를 달성하였으며, 이는 이전 방법들에 비해 뚜렷한 우월성을 보였다.
• 동일한 테스트 세트에서 다중 크롭 추론을 사용할 경우 MargiPose는 88.3% PCK와 85.2 mm MPJPE를 기록하여 도전적인 실제 환경 이미지로의 일반화 능력이 뛰어나다는 것을 입증하였다.
• 소프트-아르맥스 손실에 가우시안 정규화 항을 추가함으로써 PCK가 1.8%p 향상되고 MPJPE는 6 mm 감소하여 히트맵 품질 향상에 효과적임을 확인하였다.
• 히트맵 예측 단계 수를 1개에서 4개로 늘임으로써 성능 향상이 이루어졌으며, 이는 깊이 있는 감독이 정확도 향상에 기여함을 시사한다.
• 축 순열 모듈은 미미한 성능 향상만을 제공하여 네트워크의 수신 영역이 이미 충분히 다양한 시야 간의 공간 의존성을 포괄하고 있음을 시사한다.
• 실내에서 촬영한 3D 데이터로만 훈련되었음에도 불구하고 MargiPose는 MPII 데이터셋의 제약 없는 이미지로도 잘 일반화되어 시각적으로 일관되고 타당한 3D 자세 예측을 생성하였다.