[논문 리뷰] Heatmap Distribution Matching for Human Pose Estimation

Haoxuan Qu, Li Xu외 3명|arXiv (Cornell University)|2022. 10. 03.

Human Pose and Action Recognition인용 수 7

한 줄 요약

이 논문은 지문적 히트맵 분포 매칭 기법을 제안하여 2D 인간 자세 추정을 향상시킨다. 이 방법은 예측된 히트맵을 지문적 관점에서 지구 이동 거리(EMD)를 사용해 진짜 관점의 관점 점(annotation)과 직접 매칭함으로써, 가우시안 스무딩 히트맵이 필요 없도록 한다. 히트맵 예측을 예측된 히트맵과 희소한 점(annotation) 간의 분포 매칭 문제로 재정의함으로써, 더 일관되고 정확한 관절 위치 추정을 달성하며, COCO 및 MPII 데이터셋에서 기준 모델을 능가하여 최대 +0.7 AP 향상을 달성한다.

ABSTRACT

For tackling the task of 2D human pose estimation, the great majority of the recent methods regard this task as a heatmap estimation problem, and optimize the heatmap prediction using the Gaussian-smoothed heatmap as the optimization objective and using the pixel-wise loss (e.g. MSE) as the loss function. In this paper, we show that optimizing the heatmap prediction in such a way, the model performance of body joint localization, which is the intrinsic objective of this task, may not be consistently improved during the optimization process of the heatmap prediction. To address this problem, from a novel perspective, we propose to formulate the optimization of the heatmap prediction as a distribution matching problem between the predicted heatmap and the dot annotation of the body joint directly. By doing so, our proposed method does not need to construct the Gaussian-smoothed heatmap and can achieve a more consistent model performance improvement during the optimization of the heatmap prediction. We show the effectiveness of our proposed method through extensive experiments on the COCO dataset and the MPII dataset.

연구 동기 및 목표

• 가우시안 스무딩 히트맵을 사용한 픽셀 단위 손실 최적화 시 모델 성능 향상의 일관성 부족 문제를 해결한다.
• 희소한 점(annotation) 기반 히트맵과 가우시안 스무딩 히트맵의 한계를 극복한다.
• 예측된 히트맵 분포를 진짜 관점의 점(annotation) 분포와 매칭함으로써, 직접적으로 정확한 신체 관절 위치 추정을 위한 히트맵 예측 최적화를 수행한다.
• 가우시안 스무딩 히트맵을 생성하는 과정을 제거함으로써, 하이퍼파라미터 민감도와 간접 최적화 문제를 해결한다.
• 관절 위치 추정의 본질적 목표와 모델 예측을 일치시킴으로써 일반화 능력과 정밀도를 향상시킨다.

제안 방법

• 예측된 히트맵과 진짜 관점의 점 annotation 간의 분포 매칭 문제로 히트맵 예측 최적화를 재정의한다.
• 예측된 히트맵과 점 annotation을 지구 이동 거리(EMD) 계산을 위해 확률 분포로 표현한다.
• 서킨혼 알고리즘을 사용하여 두 분포 간의 EMD를 효율적으로 계산함으로써, 미분 가능한 최적화를 가능하게 한다.
• 요구자(즉, 점 annotation)의 정의에 서브픽셀 해상도를 통합하여 정밀도를 향상시킨다.
• 학습 중에 예측된 히트맵과 점 annotation 간의 EMD를 손실 함수로 최소화한다.
• 아키텍처 변경 없이 다양한 백본 아키텍처(예: ResNet-152, HRNet-W32/W48)에 적용한다.

실험 결과

연구 질문

• RQ1 예측된 히트맵과 희소한 점 annotation 간의 직접적인 분포 매칭이 가우시안 스무딩 히트맵을 사용하는 것보다 2D 인간 자세 추정 성능 향상에 기여하는가?
• RQ2 가우시안 스무딩 단계를 제거함으로써 하이퍼파라미터 민감도가 감소하고 학습 일관성이 향상되는가?
• RQ3 EMD 기반 최적화가 가우시안 히트맵에 대한 MSE 기반 최적화보다 더 컴act하고 정확한 관절 위치 추정을 가능하게 하는가?
• RQ4 분포 매칭 프레임워크 내에서 점 annotation의 서브픽셀 표현 방식이 정밀도에 어떤 영향을 미치는가?
• RQ5 서킨혼 반복 횟수는 EMD 계산과 최종 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 COCO 검증 세트에서 기준 모델인 Simple Baseline(ResNet-152) 대비 +0.7 AP 향상을 달성한다.
• HRNet-W48에서는 AP가 77.1에서 78.8로 향상되어 +1.7 AP^M 향상되며, 모든 지표에서 일관된 향상을 보여준다.
• 서브픽셀 요구자 표현 방식이 단순한 픽셀 중심 표현 방식보다 우수하며, HRNet-W48에서 +0.9 AP 향상을 기록한다.
• 1000회의 서킨혼 반복이 성능을 안정화시키며, 1000회를 초과해 반복 횟수를 늘려도 성능 향상이 미미하여 수렴함을 시사한다.
• 정성적 결과로 예측된 히트맵이 가우시안 스무딩 히트맵을 사용한 기준 모델 대비 진짜 관절 위치 주변으로 더 컴팩트하게 국소화됨을 확인할 수 있다.
• 이 방법은 다양한 백본(ResNet-152, HRNet-W32/W48)에 대해 잘 일반화되며, COCO 및 MPII 데이터셋에서 최신 기술 수준의 성능을 달성한다.