[論文レビュー] Heatmap Distribution Matching for Human Pose Estimation

Haoxuan Qu, Li Xu+3 more|arXiv (Cornell University)|Oct 3, 2022

Human Pose and Action Recognition被引用数 7

ひとこと要約

本論文は、ガウス平滑化されたヒートマップを必要とせず、予測ヒートマップを真値の関節アノテーションに直接最適化するための新しいヒートマップ分布マッチング手法を提案する。この手法は、地球移動距離（EMD）を用いて、予測ヒートマップと真値のスパースなドットアノテーションの間の分布マッチングを実現し、より一貫性があり正確な関節局在化を達成する。COCOおよびMPIIデータセットにおいて、ベースラインモデルを上回る性能を示し、最大で+0.7 APの向上を達成する。

ABSTRACT

For tackling the task of 2D human pose estimation, the great majority of the recent methods regard this task as a heatmap estimation problem, and optimize the heatmap prediction using the Gaussian-smoothed heatmap as the optimization objective and using the pixel-wise loss (e.g. MSE) as the loss function. In this paper, we show that optimizing the heatmap prediction in such a way, the model performance of body joint localization, which is the intrinsic objective of this task, may not be consistently improved during the optimization process of the heatmap prediction. To address this problem, from a novel perspective, we propose to formulate the optimization of the heatmap prediction as a distribution matching problem between the predicted heatmap and the dot annotation of the body joint directly. By doing so, our proposed method does not need to construct the Gaussian-smoothed heatmap and can achieve a more consistent model performance improvement during the optimization of the heatmap prediction. We show the effectiveness of our proposed method through extensive experiments on the COCO dataset and the MPII dataset.

研究の動機と目的

• ガウス平滑化ヒートマップ上でピxls単位の損失を最適化する際のモデル性能向上の不一致を解消すること。
• ドットアノテーション付きヒートマップ（スパース）とガウス平滑化ヒートマップ（標準偏差の選択に敏感）の両方の制限を克服すること。
• 予測ヒートマップ分布と真値のドットアノテーション分布をマッチングさせることで、直接的にヒートマップ予測を正確なボディ関節局在化に向けて最適化すること。
• ガウス平滑化ヒートマップの構築を不要にすることで、ハイパーパramータへの感受性と間接的最適化を排除すること。
• 関節局在化の内在的目的にモデルの予測を一致させることで、一般化性能と局在化精度を向上させること。

提案手法

• 予測ヒートマップと真値のドットアノテーションの間の分布マッチング問題として、ヒートマップ予測最適化を定式化する。
• 予測ヒートマップとドットアノテーションを、地球移動距離（EMD）計算のための確率分布として表現する。
• EMDの効率的計算を可能にするために、Sinkhornアルゴリズムを用い、微分可能な最適化を実現する。
• 局在化精度を向上させるために、需要者（すなわち、ドットアノテーション）の定式化にサブピクセル解像度を組み込む。
• トレーニング中に、予測ヒートマップとドットアノテーションの間のEMDを損失関数として最小化する。
• アーキテクチャの変更なしに、さまざまなバックボーンアーキテクチャ（例：ResNet-152、HRNet-W32/W48）に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 予測ヒートマップとスパースなドットアノテーションの間の直接的な分布マッチングは、ガウス平滑化ヒートマップを用いる場合を上回る2次元人体ポーズ推定を達成できるか？
• RQ2 ガウス平滑化ステップを排除することで、ハイパーパramータへの感受性が低下し、トレーニングの整合性が向上するか？
• RQ3 EMDベースの最適化は、ガウスヒートマップ上でMSEベースの最適化と比較して、よりコンパクトで正確な関節局在化を実現できるか？
• RQ4 ドットアノテーションのサブピクセル定式化は、分布マッチングフレームワーク内での局在化精度にどのように影響するか？
• RQ5 Sinkhorn反復回数は、EMD計算および最終的なモデル性能にどのような影響を及えるか？

主な発見

• 提案手法は、COCO検証セットにおいてベースラインのSimple Baseline（ResNet-152）に対して+0.7 APの向上を達成した。
• HRNet-W48では、APが77.1から78.8に向上し、+1.7 AP^Mの向上を示し、すべての指標で一貫した改善を示した。
• サブピクセル需要者定式化は、単純なピクセル中心定式化を上回り、HRNet-W48では+0.9 APの向上を達成した。
• 1000回のSinkhorn反復で性能が安定化し、1000回を超えて反復を増やしてもわずかな向上しか得られず、収束していることが示された。
• 定性的な結果では、ガウス平滑化ヒートマップを用いたベースラインと比較して、予測ヒートマップが真の関節位置の周囲によりコンパクトに局在化していることが確認された。
• 本手法は、さまざまなバックボーン（ResNet-152、HRNet-W32/W48）に広く一般化可能であり、COCOおよびMPIIデータセットで最先端の性能を達成した。