[論文レビュー] HIH: Towards More Accurate Face Alignment via Heatmap in Heatmap

Xing Lan, Qinghao Hu+3 more|arXiv (Cornell University)|Apr 7, 2021

Face recognition and analysis参考文献 47被引用数 10

ひとこと要約

本稿では、整数座標と小数座標を二重のヒートマップ（整数ヒートマップと小数ヒートマップ）を用いて同時にモデル化することで、顔アラインメントにおける量子化誤差を低減する、新しいヒートマップ内ヒートマップ表現であるHIHを提案する。サブピクセル回帰を分布に配慮したソフト損失を用いた区間分類に再定式化することで、HIHはSOTA性能を達成し、WFLWでは4.08 NME、COFWでは3.21 NMEを達成した。

ABSTRACT

Heatmap-based regression overcomes the lack of spatial and contextual information of direct coordinate regression, and has revolutionized the task of face alignment. Yet it suffers from quantization errors caused by neglecting subpixel coordinates in image resizing and network downsampling. In this paper, we first quantitatively analyze the quantization error on benchmarks, which accounts for more than 1/3 of the whole prediction errors for state-of-the-art methods. To tackle this problem, we propose a novel Heatmap In Heatmap(HIH) representation and a coordinate soft-classification (CSC) method, which are seamlessly integrated into the classic hourglass network. The HIH representation utilizes nested heatmaps to jointly represent the coordinate label: one heatmap called integer heatmap stands for the integer coordinate, and the other heatmap named decimal heatmap represents the subpixel coordinate. The range of a decimal heatmap makes up one pixel in the corresponding integer heatmap. Besides, we transfer the offset regression problem to an interval classification task, and CSC regards the confidence of the pixel as the probability of the interval. Meanwhile, CSC applying the distribution loss leverage the soft labels generated from the Gaussian distribution function to guide the offset heatmap training, which makes it easier to learn the distribution of coordinate offsets. Extensive experiments on challenging benchmark datasets demonstrate that our HIH can achieve state-of-the-art results. In particular, our HIH reaches 4.08 NME (Normalized Mean Error) on WFLW, and 3.21 on COFW, which exceeds previous methods by a significant margin.

研究の動機と目的

• 最先端の顔アラインメント手法における量子化誤差の影響を定量化すること。
• ネットワークのダウンサンプリングに伴うサブピクセル座標の損失による精度低下を解消すること。
• 整数座標とサブピクセル座標を同時にモデル化する学習可能でエンドツーエンドのソリューションを提案すること。
• 回帰を区間分類に変換し、ソフトラベルを用いることでサブピクセル推定を向上させること。
• 後処理や手動設計に依存せずに、顔アラインメントの最先端の精度を達成すること。

提案手法

• HIHは二重のヒートマップ表現を用いる：整数ヒートマップは最も近いピクセルを表し、小数ヒートマップはそのピクセル内のサブピクセルオフセットを表す。
• 小数ヒートマップは整数ヒートマップの1ピクセルに空間的に整合されており、そのピクセル内での相対的位置を確率分布として符号化する。
• 座標ソフト分類（CSC）は、小数ヒートマップの各グリッドを離散的な区間カテゴリとして扱い、その信頼度をその区間の確率として表現する。
• ソフトラベルはガウス関数から導出され、サブピクセルオフセット予測の最適化をより効果的に行う分布に配慮した損失関数が適用される。
• この手法はアワーガラスネットワークアーキテクチャにスムーズに統合され、標準的なヒートマップベースの学習と互換性を保つ。
• 最終的なランドマーク予測は、整数ヒートマップのピークから得られる整数座標と、小数ヒートマップの確率分布からのサブピクセルオフセットを組み合わせることで得られる。

実験結果

リサーチクエスチョン

• RQ1 最先端の顔アラインメントモデルにおけるダウンサンプリングに起因する量子化誤差はどの程度顕著か？
• RQ2 ネストされたヒートマップ表現は、標準的なヒートマップ回帰を上回るサブピクセル精度を実現できるか？
• RQ3 サブピクセル回帰をソフトラベルを用いた区間分類に変換することで、一般化性能と精度が向上するか？
• RQ4 提案手法HIHは、オフセットベースやソフトアーグマックスアプローチと比較して、精度とエンドツーエンド学習性において優れているか？
• RQ5 提案手法は、後処理や手動設計に依存せずに最先端の性能を達成できるか？

主な発見

• 量子化誤差は、最先端の顔アラインメント手法における総予測誤差の3分の1以上を占め、標準的な256×256から64×64へのダウンサンプリングにおいて、WFLWでは1.285、300Wでは1.111のNME寄与を示した。
• HIHはWFLWベンチマークで4.08 NMEという、新たなSOTA結果を達成した。
• COFWデータセットでは3.21 NMEを達成し、従来手法に比べて顕著な改善を示した。
• アブレーションスタディにより、HIH表現と座標ソフト分類損失の組み合わせが最も顕著な精度向上をもたらすことが確認された。
• 特に量子化効果が顕著に現れる低解像度ヒートマップ環境において、DARK、HRNet、SLPTなどの既存ベースラインを上回った。
• WFLW、COFW、300Wを含む多様なベンチマークにおいて、本手法は頑健性を示し、一般化能力の高さを確認した。