[論文レビュー] ACE-Net: Fine-Level Face Alignment through Anchors and Contours Estimation

Jihua Huang, Amir Tamrakar|arXiv (Cornell University)|Dec 2, 2020

Face recognition and analysis参考文献 48被引用数 4

ひとこと要約

ACE-Net は、従来のスパarsityなランドマークの代わりに、微細な顔のアンカーと輪郭を予測する深層学習フレームワークである。弱い教師付き損失を用いて、既存のランドマークデータセットと合成データを活用し、アノテーションギャップを埋める。HELEN データセットにおいて、ランドマーク補間手法よりも優れた輪郭精度を達成し、68 個のランドマークでの学習でさえも完全教師付きモデルを上回る。

ABSTRACT

We propose a novel facial Anchors and Contours Estimation framework, ACE-Net, for fine-level face alignment tasks. ACE-Net predicts facial anchors and contours that are richer than traditional facial landmarks while overcoming ambiguities and inconsistencies in their definitions. We introduce a weakly supervised loss enabling ACE-Net to learn from existing facial landmarks datasets without the need for reannotation. Instead, synthetic data, from which GT contours can be easily obtained, is used during training to bridge the density gap between landmarks and true facial contours. We evaluate the face alignment accuracy of ACE-Net with respect to the HELEN dataset which has 194 annotated facial landmarks, while it is trained with only 68 or 36 landmarks from the 300-W dataset. We show that ACE-Net generated contours are better than contours interpolated straight from the 68 GT landmarks and ACE-Net also outperforms models trained only with full supervision from GT landmarks-based contours.

研究の動機と目的

• 顔の微細なアライメントにおけるスパarsity、一貫性の欠如、曖昧さを示す顔ランドマーク表現の限界を是正すること。
• 顔の輪郭の手作業による高コストなアノテーションの必要性を排除し、既存のランドマークデータセットと合成データからの弱い教師付き学習を活用すること。
• メッシュフィッティングなどの後続タスクに向けたより密度高く正確な顔の構造制約を提供する統一表現「アンカーと輪郭（AC）」を構築すること。
• アノテーションが疎な領域でも高精度な輪郭推定を可能にし、低アノテーション密度領域における耐性を高めること。
• HELEN のような高密度にアノテートされたデータセットを用いて、AC 表現のための新しい評価ベンチマークを確立すること。

提案手法

• ACE-Net は二段階アーキテクチャを採用する：アンカーと輪郭のヒートマップを回帰する AC 予測モジュールと、これらのヒートマップをサブピクセル精度に精緻化する AC 抽出モジュール。
• 予測された輪郭が既存の顔のランドマークを通るように制約を課す、新規の「ホログラフィック損失（contourness loss）」を導入。再アノテーションなしで弱い教師付き学習を可能にする。
• 合成データに真値の輪郭を含めることで、スパースランドマークと高密度輪郭の間のアノテーション密度ギャップを埋める、完全な教師付き学習を提供。
• ホログラフィックフィルタを用いた導出により、畳み込み演算を用いて効率的な輪郭信頼度の計算が可能となり、輪郭の方向と法線マップの閉形式解を提供。
• 低解像度特徴マップに中間の監督信号を、仮の真値としての線分輪郭を用いて適用し、学習の安定性を向上。
• アーキテクチャに依存しないフレームワークであり、中間監督を備えたバックボーンネットワークを含む、さまざまなバックボーンネットワークと統合可能。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、スパースランドマークからの補間よりも、より高精度に高密度な顔の輪郭を予測できるか？
• RQ2 既存のランドマークデータセットからの弱い教師付き学習が、再アノテーションなしに正確な輪郭予測を可能にするか？
• RQ3 真値の輪郭を含む合成データを組み込むことで、ランドマーク間の領域における輪郭局在化が、ドメインギャップを考慮しても向上するか？
• RQ4 提案された AC 表現は、顔の微細なアライメントタスクにおいて、標準的なランドマークベースのアライメントを上回るか？
• RQ5 ホログラフィック損失は、多様なデータセットにわたり、予測された輪郭を既知のランドマーク位置に適切に一致させることができるか？

主な発見

• ACE-Net は HELEN データセットにおいて、68 ランドマークからの輪郭補間を上回り、学習された輪郭が線形またはスプライン補間よりも正確であることを示した。
• 36 ランドマークでの学習でさえも、競争力ある性能を達成しており、スパースランドマークからの弱い教師付き学習が、高品質な輪郭予測に十分であることを示した。
• 合成データと弱い教師付き学習で学習したモデルが、ランドマークから導出された輪郭でのみ学習したモデルを上回り、合成データがアノテーション密度ギャップを埋める上で有効であることを実証した。
• ACE-Net は真の顔の幾何構造に適切に一致するサブピクセル精度の輪郭を生成した。HELEN データセットの高密度アノテーションとの比較により検証された。
• ホログラフィック損失により、再アノテーションなしに、さまざまなランドマーク定義やデータセットに対して一般化可能な弱い教師付き学習が可能となった。
• 定性的な結果から、ACE-Net は特に鼻や口の領域など、挑戦的な領域において滑らかで解剖学的に妥当な輪郭を生成することが分かった。