[論文レビュー] Distribution-Aware Coordinate Representation for Human Pose Estimation

Feng Zhang, Xiatian Zhu+3 more|arXiv (Cornell University)|Oct 14, 2019

Human Pose and Action Recognition参考文献 32被引用数 43

ひとこと要約

DARK はヒートマップベースのポーズ推定に対して分布を考慮した座標表現を導入し、デコodingとエンコードを改善して精度を向上させ、モデルとデータセット（MPII、COCO）全体でプラグイン互換性を実現します。

ABSTRACT

While being the de facto standard coordinate representation in human pose estimation, heatmap is never systematically investigated in the literature, to our best knowledge. This work fills this gap by studying the coordinate representation with a particular focus on the heatmap. Interestingly, we found that the process of decoding the predicted heatmaps into the final joint coordinates in the original image space is surprisingly significant for human pose estimation performance, which nevertheless was not recognised before. In light of the discovered importance, we further probe the design limitations of the standard coordinate decoding method widely used by existing methods, and propose a more principled distribution-aware decoding method. Meanwhile, we improve the standard coordinate encoding process (i.e. transforming ground-truth coordinates to heatmaps) by generating accurate heatmap distributions for unbiased model training. Taking the two together, we formulate a novel Distribution-Aware coordinate Representation of Keypoint (DARK) method. Serving as a model-agnostic plug-in, DARK significantly improves the performance of a variety of state-of-the-art human pose estimation models. Extensive experiments show that DARK yields the best results on two common benchmarks, MPII and COCO, consistently validating the usefulness and effectiveness of our novel coordinate representation idea.

研究の動機と目的

• 座標表現（エンコード/デコード）がポーズ推定性能に与える影響を強調する。
• ガウス仮定とテイラー展開を用いた原理的で分布を考慮したデコード手法を提案する。
• エンコード時の量子化/ヒートマップ分布の問題に対処し、偏りのない監督を提供する。
• DARK をCOCOおよびMPIIの最先端モデルに対してアーキテクチャ変更なしで適用可能なモデル非依存のプラグインとして実証する。

提案手法

• ヒートマップデコーディングの重要性を明らかにし、サブピクセル局在化のため2Dガウスモデルに基づく分布を考慮したデコードを提案する。
• ヒートマップの最大値の周りでテイラー展開を適用し、真の関節中心（μ）を一階・二階微分で推定する。
• ヒートマップ分布変調を導入して、ガウスカーネル平滑化を介して学習時のガウス分布によりよく近づける。
• サブピクセルのグラウンドトゥルース座標にガウスを中心化して量子化バイアスを除去し、偏りのないヒートマップエンコードを提供する。
• アーキテクチャの変更なしで、既存のモデル（例：HRNet、SimpleBaseline、Hourglass）と互換性のあるプラグインとしてDARKを実証する。

実験結果

リサーチクエスチョン

• RQ1 座標デコoding（および従来のシフト）が、モデル間でポーズ推定の精度にどのように影響するか？
• RQ2 分布を考慮したデコード手法は、標準のシフトを超えてサブピクセル局在化を改善できるか？
• RQ3 ガウスに基づくヒートマップ分布変調は実際の予測下でデコードを改善するか？
• RQ4 偏りのないサブピクセルヒートマップエンコードは測定可能な監督効果を提供するか？
• RQ5 DARK は異なるポーズ推定アーキテクチャ全体でモデル非依存のプラグインとして一般化可能か？

主な発見

• シフトを伴う標準の座標デコードは、128x96でHRNet-W32の場合、ノーシフトデコードより最大5.7%のAP向上をもたらし、DARK は追加の利得を提供する。
• ヒートマップに分布変調（DM）を適用すると、128x96のHRNet-W32でCOCO valのAPが68.1から68.4へ向上する。
• DARK デコードで偏りのないヒートマップエンコードは、128x96のCOCO valでHRNet-W32のAPを70.7（偏りあり66.9）にする。
• 128x96で HRNet-W32 の DARK は AP 70.7 および関連指標を達成し、入力サイズを大きくすると（256x192, 384x288）ベースラインをさらに上回る（例: setup によって 74.4/75.8 対 74.4/73.7）。
• COCO test-dev では、HRNet-W48 の DARK が 384x288 で AP 76.2 に達し、最良の競合より0.7 APポイント高い（76.2 対 75.5）。
• MPII の結果は、DARK が mean PCKh@0.5 を 90.6 に、PCKh@0.1 を 42.0 に改善し、HRNet-W32 のベースラインを上回る。