[論文レビュー] Deep Structured Prediction for Facial Landmark Detection

Lisha Chen, Hui Su+1 more|arXiv (Cornell University)|Oct 18, 2020

Face recognition and analysis被引用数 13

ひとこと要約

本論文は、顔の顔面特徴点検出のため、畳み込みニューラルネットワーク（CNN）と完全結合型条件付きランダムフィールド（CRF）を組み合わせた深層構造予測フレームワークを提案する。正確な学習と推論により、顔面特徴点間の幾何的依存関係をモデル化することで、顔のアングルの大きな変化や隠蔽がある困難なデータセットにおいて、優れた精度と一般化性能を達成し、内部およびクロスデータセット評価の両方で最先端の手法を上回る性能を示した。

ABSTRACT

Existing deep learning based facial landmark detection methods have achieved excellent performance. These methods, however, do not explicitly embed the structural dependencies among landmark points. They hence cannot preserve the geometric relationships between landmark points or generalize well to challenging conditions or unseen data. This paper proposes a method for deep structured facial landmark detection based on combining a deep Convolutional Network with a Conditional Random Field. We demonstrate its superior performance to existing state-of-the-art techniques in facial landmark detection, especially a better generalization ability on challenging datasets that include large pose and occlusion.

研究の動機と目的

• 純粋なディープラーニング手法が顔面特徴点間の幾何的関係を保持できないという限界に対処すること。
• 顔のアングルの大きな変化、隠蔽、表情の変化といった困難な条件下での一般化性能を向上させること。
• 従来の固定されたペアワイズ関係とは異なり、アングルや変形に起因する構造的関係の変化を明示的にモデル化すること。
• 平均場法やパーティション関数の近似といった近似手法を避けることで、構造予測における正確な学習と推論を可能にすること。
• 特にクロスデータセット評価において、ベンチマークデータセットで優れた性能を示すこと。

提案手法

• 顔面特徴点間の構造的依存関係をモデル化するため、特徴抽出に深層CNNと完全結合型CRFを組み合わせる。
• CNNとCRFをネガティブ・ログ尤度（NLL）損失関数でエンドツーエンドに同時に学習するジョイント学習フレームワークを採用する。
• 学習および推論のステップで閉形式解を用いた交互最適化を実装し、平均場法のような近似推論手法を避ける。
• アングルや変形に依存する構造的関係を捉えることができる、変形に適応したCRFを導入する。
• 特徴点座標にガウス尤度を適用し、回帰の安定性を向上させるためにL1平均損失とソフトマックス交差エントロピーを併用する。
• 正確な推論を伴う交互最適化を適用することで、より良い不確実性推定と構造予測が可能になる。

実験結果

リサーチクエスチョン

• RQ1 完全結合型CRFモデルは、異なるアングルや変形下でも、複雑で変動する顔面特徴点間の幾何的関係を効果的に捉えることができるか？
• RQ2 CNN-CRFフレームワークにおける正確な学習と推論は、近似手法と比較して、困難な顔面特徴点検出タスクにおいてより優れた一般化性能をもたらすか？
• RQ3 本手法は、隠蔽や顔のアングルの大きな変化にさらされた状況下で、最先端のディープラーニングモデルと比較して、精度と頑健性に優れているか？
• RQ4 原理的NLL損失関数を用いたCNNとCRFの共同学習は、分離学習やヒューリスティック損失関数と比較して、性能向上にどの程度寄与するか？
• RQ5 クロスデータセット評価において、未知のデータ分布に効果的に一般化できるか？

主な発見

• 300Wテストセットにおいて、本手法はNME 2.21を達成し、FAN や SAN を含むすべての最先端手法を上回った。
• 300VWのクロスデータセットベンチマークでは、カテゴリ1でNME 1.91を達成し、次に優れた手法（CFSS）の2.44と顕著に低い水準にあった。
• ノイズ、低解像度、大きなボクシングボックス初期化に対しても、シンプルなCNNと比較して一貫して低い誤差率を示し、優れた頑健性を示した。
• アブレーションスタディの結果、標準的な交差エントロピー損失（NME 2.38）と比較して、提案損失（ソフトマックス＋L1平均＋ガウスNLL）が性能向上に寄与することが確認された（NME 2.30）。
• CNNとCRFを提案損失で共同学習させた場合が最も優れた性能（NME: 2.21）を示し、別々に学習させたモデル（NME: 2.23）を上回った。
• 300WではAUC 68.1%、FR 0.17を達成し、外れ値に対する頑健性と精度の両面で優れた性能を示した。