[論文レビュー] Look at Boundary: A Boundary-Aware Face Alignment Algorithm

Wayne Wu, Chen Qian+4 more|arXiv (Cornell University)|May 26, 2018

Face recognition and analysis参考文献 57被引用数 28

ひとこと要約

本論文は、顔の境界線を幾何的構造として用いる境界認識型顔アラインメント手法を提案する。深層ネットワーク内で複数段階にわたり境界ヒートマップを推定・融合することで、300-W Fullsetでは平均誤差3.49%、AFLW-Fullでは1.25%まで低減し、最先端の性能を達成した。また、多様な条件下での統一評価を可能にする新規ベンチマークデータセットWFLWを導入した。

ABSTRACT

We present a novel boundary-aware face alignment algorithm by utilising boundary lines as the geometric structure of a human face to help facial landmark localisation. Unlike the conventional heatmap based method and regression based method, our approach derives face landmarks from boundary lines which remove the ambiguities in the landmark definition. Three questions are explored and answered by this work: 1. Why using boundary? 2. How to use boundary? 3. What is the relationship between boundary estimation and landmarks localisation? Our boundary- aware face alignment algorithm achieves 3.49% mean error on 300-W Fullset, which outperforms state-of-the-art methods by a large margin. Our method can also easily integrate information from other datasets. By utilising boundary information of 300-W dataset, our method achieves 3.92% mean error with 0.39% failure rate on COFW dataset, and 1.25% mean error on AFLW-Full dataset. Moreover, we propose a new dataset WFLW to unify training and testing across different factors, including poses, expressions, illuminations, makeups, occlusions, and blurriness. Dataset and model will be publicly available at https://wywu.github.io/projects/LAB/LAB.html

研究の動機と目的

• 顔のランドマークアノテーションにおける不確かさと一貫性の欠如（ランドマーク数や定義のばらつき）を解消すること。
• 明確に定義された顔の境界を幾何的事前知識として活用することで、大規模なポーズ変化、部分的遮蔽、外見の変化に対して強い耐性を持つようにすること。
• ポーズ、表情、照明、メイク、遮蔽、ぼやけ具合といった多様な要因を統一的に評価できる、大規模な新規ベンチマークを提供すること。
• 境界推定、ランドマーク回帰、境界の有効性を統合的に最適化するエンドツーエンドで学習可能な強力なフレームワークを確立すること。

提案手法

• メッセージ伝達を用いたスタックドアワークラスネットワークを用い、顔の境界ヒートマップを推定することで、遮蔽に対する耐性を向上させる。
• ランドマーク回帰ネットワークの複数段階で境界ヒートマップを統合し、特徴の学習を豊かにし、ランドマークの局所化精度を向上させる。
• ランドマークに基づく境界有効性ディスクライマーを用いた adversarial learning 戦略を採用し、境界ヒートマップの品質を向上させる。
• 複数のデータセットから得たランドマークを基に導出された13本の境界線を用いて顔の構造をモデル化し、アノテーションスキーム間の一貫性を確保する。
• マルチレベルの統合戦略を通じて境界情報を構造的ヒントとして統合し、段階的にランドマーク予測を改善する。
• 境界推定器、ランドマーク回帰器、ディスクライマーをエンドツーエンドで同時に学習させ、最適な性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 なぜ顔アラインメントに直接ランドマークを使うのではなく、顔の境界を使うのか？
• RQ2 境界情報はどのように深層学習フレームワークに効果的に統合できるか？
• RQ3 推定された境界ヒートマップの品質と最終的なランドマーク予測精度の関係は何か？
• RQ4 ネットワークの複数段階にわたり境界を統合することで性能にどのような影響があるか？
• RQ5 境界に基づく監視は、多様な現実世界の顔の変化に一般化を向上させることができるか？

主な発見

• 提案手法は300-W Fullsetで平均誤差3.49%を達成し、従来の最先端手法を顕著に上回った。
• COFWデータセットでは平均誤差3.92%、失敗率0.39%を達成し、遮蔽に対する強い耐性を示した。
• AFLW-Fullデータセットでは平均誤差1.25%を達成し、多様な条件下でも高い精度を発揮した。
• 回帰ネットワークの4段階すべてで境界ヒートマップを統合することで、平均誤差は7.12%から6.13%に低下し、深層統合による一貫した改善が確認された。
• 境界特徴間でのメッセージ伝達により、WFLWデータセットの遮蔽サブセットでは平均誤差が11%以上低減し、重度の遮蔽下でも有効性が顕著に示された。
• ランドマークに基づくディスクライマーを用いた adversarial 学習により、300-Wの挑戦的セットでは失敗率が5.19%から3.70%に低下し、境界品質が最終性能に与える価値を裏付けた。