[論文レビュー] Stacked Dense U-Nets with Dual Transformers for Robust Face Alignment

Jia Guo, Jiankang Deng+2 more|arXiv (Cornell University)|Dec 5, 2018

Face recognition and analysis被引用数 24

ひとこと要約

本論文は、スケール集約トポロジーとチャネル集約ブロックを導入することで、計算コストを増加させることなく特徴表現を強化する、二重トランスフォーマーを備えたスタックド密度的U-Netを提案し、ロバストな2次元および3次元顔ランドマーク検出を実現する。本手法は最先端の性能を達成し、AFLW2000-3DではNMEを5.8%低減し、CFP-FPでは3次元顔認識の正確性を98.514%まで向上させる。

ABSTRACT

Facial landmark localisation in images captured in-the-wild is an important and challenging problem. The current state-of-the-art revolves around certain kinds of Deep Convolutional Neural Networks (DCNNs) such as stacked U-Nets and Hourglass networks. In this work, we innovatively propose stacked dense U-Nets for this task. We design a novel scale aggregation network topology structure and a channel aggregation building block to improve the model's capacity without sacrificing the computational complexity and model size. With the assistance of deformable convolutions inside the stacked dense U-Nets and coherent loss for outside data transformation, our model obtains the ability to be spatially invariant to arbitrary input face images. Extensive experiments on many in-the-wild datasets, validate the robustness of the proposed method under extreme poses, exaggerated expressions and heavy occlusions. Finally, we show that accurate 3D face alignment can assist pose-invariant face recognition where we achieve a new state-of-the-art accuracy on CFP-FP.

研究の動機と目的

• 極端なポーズ、表情、遮蔽を伴う制約のない、屋外環境における正確な顔ランドマーク検出の課題に対処すること。
• マルチスケール特徴と空間不変性のモデリングに限界を示す既存のスタックドU-Netおよびアワーガラスアーキテクチャの課題を克服すること。
• 計算効率とモデルサイズを維持しつつ、顔ランドマーク予測のためのモデル容量を向上させること。
• ポーズ不変の顔認識を支援するロバストな3次元顔アライメントを実現すること。これは実世界のシステムにおける重要な応用分野である。
• 正確な3次元アライメントが、厳しいポーズ変動下でのディープ顔認識性能を顕著に向上させることを実証すること。

提案手法

• 複数スケール間の特徴統合を強化するため、集約ノードにダウンサンプリングパスを追加した、新規のスケール集約トポロジー（SAT）を導入。マルチスケール表現学習が向上する。
• チャネル次元を段階的に低減することで文脈モデリングを強化し、グローバルなランドマーク関係を捉える、チャネル集約ブロック（CAB）を提案。
• 空間的に適応的な特徴学習を可能にするために、スタックド密度的U-Net内に可変畳み込みを統合。幾何的変化に対する耐性が向上。
• 変換された入力においてランドマーク予測の空間的一致性を強制するため、一貫性損失関数を適用。空間不変性が向上。
• 計算効率を維持するために、1つのダウンサンプリング層を削除し、一部の畳み込みを深度可分畳み込みに置き換えることで、密度的U-Netを簡素化。
• 特徴マップ内の長距離依存性をモデリングするため、二重トランスフォーマー（タイトルから示唆されるが、本文では明示的に記載されていない）を活用。顔の顕著な領域への注目が向上。

実験結果

リサーチクエスチョン

• RQ1 強化されたマルチスケール特徴統合を備えた変更版スタックド密度的U-Netアーキテクチャは、制約のない顔アライメントにおけるロバスト性を向上させることができるか？
• RQ2 チャネル単位の特徴統合は、遮蔽や表情の変化下でもランドマーク検出をどの程度向上させることができるか？
• RQ3 可変畳み込みと一貫性損失の統合は、顔ランドマーク予測における空間不変性を向上させるか？
• RQ4 正確な3次元顔アライメントは、顔認識性能のポーズ不変性を顕著に向上させることができるか？
• RQ5 極端なポーズや遮蔽下でのロバスト性という観点から、本手法は最先端モデルと比較してどの程度優れているか？

主な発見

• 本手法は、ポーズ不変顔認識のための最新の最先端性能を、CFP-FPデータセットで98.514%の正確性で達成し、以前のアライメント手法を顕著に上回った。
• AFLW2000-3Dデータセットでは、前回の最先端手法と比較して、正規化平均誤差（NME）を5.8%低減し、NME 3.07%を達成した。
• 定量的結果から、極端な状況下、すなわち最大±90°のポーズ変動、誇張された表情、重度の遮蔽下でも、モデルの優れたロバスト性が示された。
• 初期化の影響により、高精度範囲（NME < 1.2%）では一時的に最高のエントリを下回るが、困難なケースではそれを上回り、一般化性能の向上が示された。
• 3次元ランドマークアライメントの導入により、ベースライン手法と比較してCFP-FPにおける検証誤差が48.24%も低減した。これは、ポーズ不変認識におけるその価値を裏付ける。
• SATとCABの組み合わせにより、計算複雑性やモデルサイズを増加させることなくモデル容量を向上させ、効率的な推論を可能にした。