[論文レビュー] Is 2D Heatmap Representation Even Necessary for Human Pose Estimation

Yanjie Li, Sen Yang+5 more|arXiv (Cornell University)|Jul 7, 2021

Human Pose and Action Recognition参考文献 42被引用数 11

ひとこと要約

本論文では、ヒートマップを不要にする人間ポーズ推定手法SimDRを提案する。この手法は、水平方向および垂直方向のキーポoin座標を独立した分類ヘッドに分離することで、アンサンプリングやリファインメントの必要性を排除する。COCOデータセットにおいて、ヒートマップベースの手法と比較して優れた性能を発揮し、特に低解像度の設定で顕著な優位性を示す。

ABSTRACT

The 2D heatmap representation has dominated human pose estimation for years due to its high performance. However, heatmap-based approaches have some drawbacks: 1) The performance drops dramatically in the low-resolution images, which are frequently encountered in real-world scenarios. 2) To improve the localization precision, multiple upsample layers may be needed to recover the feature map resolution from low to high, which are computationally expensive. 3) Extra coordinate refinement is usually necessary to reduce the quantization error of downscaled heatmaps. To address these issues, we propose a extbf{Sim}ple yet promising extbf{D}isentangled extbf{R}epresentation for keypoint coordinate (\emph{SimDR}), reformulating human keypoint localization as a task of classification. In detail, we propose to disentangle the representation of horizontal and vertical coordinates for keypoint location, leading to a more efficient scheme without extra upsampling and refinement. Comprehensive experiments conducted over COCO dataset show that the proposed \emph{heatmap-free} methods outperform \emph{heatmap-based} counterparts in all tested input resolutions, especially in lower resolutions by a large margin. Code will be made publicly available at \url{this https URL}.

研究の動機と目的

• 実世界の応用で一般的な低解像度画像における、ヒートマップベース手法の性能劣化を是正すること。
• 高解像度特徴マップを回復するために必要な複数のアンサンプリング層の計算コストを排除すること。
• ヒートマップ表現そのものを避けることで、ヒートマップのダウンサンプリングに起因する量子化誤差を低減すること。
• 分離された座標分類を通じて、追加の後処理を伴わずに、より効率的かつ正確なキーポイント局在化手法を構築すること。

提案手法

• 水平方向および垂直方向のキーポイント座標を独立した分類ヘッドに分離する、分離された表現を提案する。
• モデルを、x座標およびy座標の離散的クラス確率のペアとして2次元キーポイント位置を予測するように学習する。
• ヒートマップ回帰を避けるために、水平および垂直座標分類の両方で交差エントロピー損失を使用する。
• 低解像度特徴から直接座標を予測することで、アンサンプリングやリファインメントモジュールを一切回避する。
• 分離構造を活用し、追加の後処理を伴わず、局在化精度を向上させる。
• ヒートマップベースの手法と比較して、よりシンプルなパイプラインを実現するため、標準的な分類損失を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 ヒートマップを不要とするアプローチが、特に低解像度入力下でもヒートマップベース手法を上回る性能を発揮できるか？
• RQ2 水平方向および垂直方向の座標予測を分離することで、局在化精度が向上し、量子化誤差が低減するか？
• RQ3 高価なアンサンプリングおよびリファインメントモジュールの必要性を、性能を損なわず排除できるか？
• RQ4 提案手法は、ベースラインのヒートマップベースモデルと比較して、さまざまな入力解像度においてどのようにスケーリングするか？

主な発見

• 提案されたSimDR手法は、COCOデータセットにおいて、すべての入力解像度でテストされたヒートマップベースのベースラインを上回る性能を発揮した。
• 性能向上は特に低解像度設定で顕著であり、解像度の低下に対して強い耐性を示した。
• アンサンプリングおよび座標リファインメントモジュールの必要性が排除され、計算オーバーヘッドが低減された。
• 分離された分類アプローチにより、ヒートマップベースの局在化に内在する量子化誤差が低減された。
• ヒートマップの教師信号や後処理に依存せず、最先端の結果を達成した。
• アブレーションスタディにより、分離された座標予測が性能向上の主因であることが確認された。