[논문 리뷰] Distribution-Aware Coordinate Representation for Human Pose Estimation

Feng Zhang, Xiatian Zhu외 3명|arXiv (Cornell University)|2019. 10. 14.

Human Pose and Action Recognition참고 문헌 32인용 수 43

한 줄 요약

DARK는 히트맵 기반 자세 추정에서 분포 인지 좌표 표현을 도입하여 디코딩과 인코딩을 개선하고, 모델과 데이터셋(MPII, COCO) 간 플러그인 호환성으로 정확도를 높입니다.

ABSTRACT

While being the de facto standard coordinate representation in human pose estimation, heatmap is never systematically investigated in the literature, to our best knowledge. This work fills this gap by studying the coordinate representation with a particular focus on the heatmap. Interestingly, we found that the process of decoding the predicted heatmaps into the final joint coordinates in the original image space is surprisingly significant for human pose estimation performance, which nevertheless was not recognised before. In light of the discovered importance, we further probe the design limitations of the standard coordinate decoding method widely used by existing methods, and propose a more principled distribution-aware decoding method. Meanwhile, we improve the standard coordinate encoding process (i.e. transforming ground-truth coordinates to heatmaps) by generating accurate heatmap distributions for unbiased model training. Taking the two together, we formulate a novel Distribution-Aware coordinate Representation of Keypoint (DARK) method. Serving as a model-agnostic plug-in, DARK significantly improves the performance of a variety of state-of-the-art human pose estimation models. Extensive experiments show that DARK yields the best results on two common benchmarks, MPII and COCO, consistently validating the usefulness and effectiveness of our novel coordinate representation idea.

연구 동기 및 목표

• 좌표 표현(인코딩/디코딩)이 자세 추정 성능에 미치는 영향을 강조한다.
• 가우시안 가정과 테일러 전개를 이용한 원리적이고 분포 인지 디코딩 방법을 제안한다.
• 인코딩 시 양자화/히트맵 분포 문제를 다루어 바람직하지 않은 감독 신호를 제공하지 않도록 한다.
• DARK가 모델에 구애받지 않는 플러그인으로 COCO 및 MPII에서 최첨단 모델의 성능을 개선한다는 것을 입증한다.

제안 방법

• 히트맵 디코딩의 중요성을 식별하고 서브 픽셀 위치 추정을 위한 2D 가우시안 모델 기반의 분포 인지 디코딩을 제안한다.
• 히트맵 최대값 주위에서 테일러 전개를 적용하여 실제 관절 중심 μ를 1차 및 2차 미분으로 추정한다.
• 가우시안 커널 스무딩을 통해 훈련 가우시안 분포를 더 잘 닮도록 히트맵 분포 모듈레이션을 도입한다.
• 서브 픽셀 ground-truth 좌표에서 가우시안을 중심으로 배치하여 양자화 편향을 제거하고 편향 없는 히트맵 인코딩을 제공한다.
• DARK가 기존 모델(HRNet, SimpleBaseline, Hourglass 등)의 아키텍처 변경 없이도 호환되는 플러그인임을 입증한다.

실험 결과

연구 질문

• RQ1 좌표 디코딩(및 기존의 쉬프트)이 모델 전반의 자세 추정 정확도에 어떤 영향을 미치는가?
• RQ2 분포 인지 디코딩 방법이 표준 쉬프트를 넘어 서브 픽셀 위치 추정을 개선할 수 있는가?
• RQ3 가우시안 기반 히트맵 분포 모듈레이션이 실제 예측에서 디코딩을 개선하는가?
• RQ4 편향 없는 서브 픽셀 히트맵 인코딩이 측정 가능한 감독 신호 이점을 제공하는가?
• RQ5 DARK가 서로 다른 자세 추정 아키텍처 전반에서 모델-어그노스틱한 플러그인으로 일반화되는가?

주요 결과

• 쉬프트가 있는 표준 좌표 디코딩은 128x96에서 HRNet-W32의 비쉬프트 디코딩 대비 최대 5.7% AP의 향상을 제공하는 반면, DARK는 추가 이득을 제공한다.
• 히트맵에 분포 모듈레이션(DM)을 적용하면 128x96에서 HRNet-W32의 COCO val에서 AP가 68.1에서 68.4로 향상된다.
• DARK 디코딩을 사용한 편향 없는 히트맵 인코딩은 128x96에서 HRNet-W32의 COCO val에서 AP가 70.7(편향된 66.9 대비)이다.
• 128x96의 HRNet-W32에서 DARK는 AP 70.7 및 관련 메트릭을 달성하고, 입력 크기가 더 클 때(256x192, 384x288) 베이스라인보다 성능이 더 향상된다(예: 설정에 따라 74.4/75.8 vs. 74.4/73.7).
• COCO test-dev에서 DARK를 적용한 HRNet-W48은 384x288에서 AP 76.2에 도달하여 최고 경쟁자보다 0.7 AP 포인트를 초과한다(76.2 vs. 75.5).
• MPII 결과는 DARK가 평균 PCKh@0.5를 90.6으로, PCKh@0.1을 42.0으로 개선하여 HRNet-W32 기준선을 능가한다.