[論文レビュー] Adaptive Wing Loss for Robust Face Alignment via Heatmap Regression

Xinyao Wang, Liefeng Bo+1 more|arXiv (Cornell University)|Apr 16, 2019

Face recognition and analysis参考文献 71被引用数 41

ひとこと要約

顔のアライメントにおけるヒートマップ回帰のためのAdaptive Wing lossを導入し、Weighted Loss Mapと境界情報を持つCoordConvを追加してランドマークの局在化を改善; COFW、300W、WFLWデータセットで最先端を達成。

ABSTRACT

Heatmap regression with a deep network has become one of the mainstream approaches to localize facial landmarks. However, the loss function for heatmap regression is rarely studied. In this paper, we analyze the ideal loss function properties for heatmap regression in face alignment problems. Then we propose a novel loss function, named Adaptive Wing loss, that is able to adapt its shape to different types of ground truth heatmap pixels. This adaptability penalizes loss more on foreground pixels while less on background pixels. To address the imbalance between foreground and background pixels, we also propose Weighted Loss Map, which assigns high weights on foreground and difficult background pixels to help training process focus more on pixels that are crucial to landmark localization. To further improve face alignment accuracy, we introduce boundary prediction and CoordConv with boundary coordinates. Extensive experiments on different benchmarks, including COFW, 300W and WFLW, show our approach outperforms the state-of-the-art by a significant margin on various evaluation metrics. Besides, the Adaptive Wing loss also helps other heatmap regression tasks. Code will be made publicly available at https://github.com/protossw512/AdaptiveWingLoss.

研究の動機と目的

• 顔のランドマーク局在化におけるヒートマップ回帰の損失関数を動機付け、分析する。
• 真値ピクセル強度に適応する Adaptive Wing 損失を提案し、前景と難しい背景ピクセルに焦点を当てる。
• 訓練中に前景と背景ピクセルの寄与を均衡させる重み付き損失マップを導入。
• 境界情報を取り入れ、境界座標を用いた CoordConv を組み込み、座標認識型学習を改善。
• 標準ベンチマークで最先端の性能を実証し、関連するヒートマップ回帰タスクへの移植性を検証。

提案手法

• 影響度の議論と真値ピクセル強度を用いてヒートマップ回帰の理想的な損失特性を分析。
• パラメータ (omega, theta, epsilon, alpha) によって制御される適応的な非線形領域を持つAdaptive Wing (AWing) 損失を定義し、線形領域への滑らかな遷移を実現。
• 前景と難しい背景ピクセルを強調するため、膨張させた真値ヒートマップを用いる重み付き損失マップを導入（重み W）。
• グローバル境界情報を捉える補助的な境界予測チャネルを追加し、境界エンコード座標 (B_x, B_y) を用いて CoordConv と統合してランドマーク局在化を強化。
• 座標エンコーディングと境界対応チャネルを備えたスタック型 Hourglass (HG) バックボーンを活用し、RMSPropと標準のデータ拡張で学習; COFW、300W、WFLWで評価。

実験結果

リサーチクエスチョン

• RQ1 真値ヒートマップのピクセル値に適応して曲率を変える損失関数は、顔のランドマークのヒートマップ回帰を改善できるか？
• RQ2 重み付き損失マップを介して前景と難しい背景ピクセルのバランスを取ることが、収束と局在化の精度を向上させるか？
• RQ3 境界情報と CoordConv エンコードを組み込むことでランドマーク局在化の精度が向上するか？
• RQ4 提案するAdaptive Wing損失は、標準の顔アライメントベンチマークで従来法と比べてどう機能するか？
• RQ5 Adaptive Wing損失は、人間のポーズ推定など他のヒートマップ回帰タスクにも有益か？

主な発見

• AWing 損失はヒートマップ回帰の質とランドマーク局在化を改善し、COFW、300W、WFLWデータセットで従来手法を上回る。
• COFW では、10% NMEの故障率を3.73%から0.99%へ低減。
• 300Wでは、共通・難易度高・全テストセットで最先端の結果を達成し、NMEが著しく低く、AUCが高い。
• WFLWでは、サブセット全体で最高結果を示し、故障率を大幅に削減しAUCを向上。全体のNMEとAUCの改善は大幅。
• Adaptive Wing損失は人間の姿勢推定タスク（LSP）でも利点を示し、PCK@0.2をMSEベースラインより改善。
• アブレーション研究は、AW + Weighted Loss Map + Boundary統合 + CoordConv + 境界座標の組み合わせが段階的な向上をもたらし、AW単独が最も顕著な改善をもたらすことを示す。