[論文レビュー] PropagationNet: Propagate Points to Curve to Learn Structure Information

Xiehe Huang, Weihong Deng+3 more|arXiv (Cornell University)|Jun 25, 2020

Face recognition and analysis参考文献 38被引用数 5

ひとこと要約

本稿では、ランドマークヒートマップを境界ヒートマップに伝搬させることで構造的情報を学習する新しい顔アラインメント手法、PropagationNetを提案する。伝搬モジュール、フォーカルウィング損失、アンチアーリアージングCNNを組み込んだマルチビュー・アラウンドガス構造を統合することで、WFLWで4.05%の平均誤差、300Wフルセットで2.93%、COFWで3.71%を達成し、最先端の性能を実現した。

ABSTRACT

Deep learning technique has dramatically boosted the performance of face alignment algorithms. However, due to large variability and lack of samples, the alignment problem in unconstrained situations, \emph{e.g}\onedot large head poses, exaggerated expression, and uneven illumination, is still largely unsolved. In this paper, we explore the instincts and reasons behind our two proposals, \emph{i.e}\onedot Propagation Module and Focal Wing Loss, to tackle the problem. Concretely, we present a novel structure-infused face alignment algorithm based on heatmap regression via propagating landmark heatmaps to boundary heatmaps, which provide structure information for further attention map generation. Moreover, we propose a Focal Wing Loss for mining and emphasizing the difficult samples under in-the-wild condition. In addition, we adopt methods like CoordConv and Anti-aliased CNN from other fields that address the shift-variance problem of CNN for face alignment. When implementing extensive experiments on different benchmarks, \emph{i.e}\onedot WFLW, 300W, and COFW, our method outperforms state-of-the-arts by a significant margin. Our proposed approach achieves 4.05\% mean error on WFLW, 2.93\% mean error on 300W full-set, and 3.71\% mean error on COFW.

研究の動機と目的

• 大きな頭部ポーズ、極端な表情、不均一な照明といった制約のない条件下での顔アラインメントの課題に対処すること。
• 畳み込みニューラルネットワーク（CNN）が顔の構造的情報を十分に捉えられず、特に遮蔽や歪みのある場合に正確なランドマーク予測が困難になるという限界を克服すること。
• 実際のデータセットにおいて極端な状態が不足していることによるデータの不均衡を軽減し、モデル学習の偏りを是正すること。
• プーリング層に起因するスタックドハルガスネットワークにおけるシフト不変性の問題を緩和すること。これは特徴の局所化精度を低下させる。
• ランドマーク情報を境界表現に効果的に転送できる、軽量でエンドツーエンドで学習可能なモジュールを構築し、構造的認識を向上させること。

提案手法

• ランドマークヒートマップを境界ヒートマップに伝搬させる軽量で微分可能なアーキテクチャ、伝搬モジュールを導入し、ネットワークが顔の構造を学習できるようにする。
• AWingに基づいて導出された動的損失関数、フォーカルウィング損失を設計し、学習中にサンプルの重みを調整することで、学習が難しいサンプルに注目し、極端な条件下での一般化性能を向上させる。
• アンチアーリアージングCNNをマルチビュー・ハルガス構造に統合し、ダウンサンプリング処理の前にアンチアーリアージングフィルタを適用することで、シフト不変性を低減し、空間的精度を保持する。
• 座標情報を特徴マップに組み込むことで特徴表現を強化するCoordConvを活用し、局所化精度を向上させる。
• 残差ブロックを用いたスタックドハルガスバックボーンを用いてモデルを訓練し、ヒートマップ回帰と、伝搬された境界ヒートマップから生成されたシグモイド正規化されたアテンションマップを組み合わせる。
• データオーグメンテーションとクラスバランス戦略を適用し、トレーニングおよびテストセット間の不均衡なデータ分布の影響を軽減する。

実験結果

リサーチクエスチョン

• RQ1 ランドマークヒートマップを境界ヒートマップに伝搬させることで、ディープフェイスアラインメントネットワークにおける顔の構造モデリングが向上するか？
• RQ2 フォーカルウィング損失のような動的重み付き損失関数は、実際のデータセットにおけるレアで学習が難しいサンプルの性能にどのように影響を与えるか？
• RQ3 アンチアーリアージングCNNとマルチビュー・ハルガスモジュールは、顔アラインメントにおけるシフト不変性をどの程度低減し、局所化精度を向上させるか？
• RQ4 境界ヒートマップによる構造的情報を統合することで、遮蔽、ぼやけ、非一様な照明などの極端な条件下でもモデルのロバスト性が向上するか？
• RQ5 伝搬モジュールのような軽量でエンドツーエンドで学習可能なモジュールは、精度と効率の面で、より大きな別個のGANベースの境界生成ネットワークを上回ることができるか？

主な発見

• 伝搬モジュールはWFLWで平均誤差を7.14%削減（4.81%から4.48%に）、AUCを5.63%向上させ、構造的情報を効果的に捉えられることを示した。
• フォーカルウィング損失は、AWingベースラインと比較してNMEを3.53%削減（4.81%から4.64%に）し、FRとAUCの向上も確認され、困難なサンプルの処理能力が向上した。
• アンチアーリアージングCNNを統合したマルチビュー・ハルガスは、ベースラインと比較してNMEを2.91%削減（4.81%から4.67%に）し、空間的シフトに対してより高いロバスト性を示した。
• 完全なPropagationNetモデルは、WFLWで4.05%の平均誤差、300Wフルセットで2.93%、COFWで3.71%を達成し、すべてのベンチマークで最先端の手法を上回った。
• アブレーションスタディの結果、伝搬モジュール、フォーカルウィング損失、アンチアーリアージングハルガスの各要素が、性能向上に独立してかつ顕著に寄与していることが確認された。
• パrameter数（36.30M）とFLOPS（42.83G）がやや高いものの、PropagationNetは優れた精度を達成しており、性能向上に見合う複雑さであることが示された。