[論文レビュー] Grand Challenge of 106-Point Facial Landmark Localization

Yinglu Liu, Hao Shen+19 more|arXiv (Cornell University)|May 9, 2019

Face recognition and analysis参考文献 16被引用数 5

ひとこと要約

本論文は、106点のアノテーションを備えた大規模かつ多様な顔面特徴点データセット「JD-landmark」を提示し、ICME 2019で高精度な顔面特徴点位置特定を推進するグランドチャレンジを主催した。チャレンジでは、ポーズ、表情、被覆の複雑な変化を評価対象とし、Baidu Inc.のautoMLと投票を用いたマルチスタック顔面アライメントが最高成績（AUC: 84.01%）を記録。最新の最先端手法を上回る耐障害性と正確性を示した。

ABSTRACT

Facial landmark localization is a very crucial step in numerous face related applications, such as face recognition, facial pose estimation, face image synthesis, etc. However, previous competitions on facial landmark localization (i.e., the 300-W, 300-VW and Menpo challenges) aim to predict 68-point landmarks, which are incompetent to depict the structure of facial components. In order to overcome this problem, we construct a challenging dataset, named JD-landmark. Each image is manually annotated with 106-point landmarks. This dataset covers large variations on pose and expression, which brings a lot of difficulties to predict accurate landmarks. We hold a 106-point facial landmark localization competition1 on this dataset in conjunction with IEEE International Conference on Multimedia and Expo (ICME) 2019. The purpose of this competition is to discover effective and robust facial landmark localization approaches.

研究の動機と目的

• 顔の部品構造の詳細な記述が不足している従来の68点顔面特徴点ベンチマークの限界を是正するため、より詳細な106点アノテーション基準を導入すること。
• ポーズ、表情、被覆の顕著な変動を含む大規模かつ多様な顔面特徴点データセット（JD-landmark）を構築し、既存手法の挑戦を促すこと。
• ICME 2019でのグランドチャレンジコンペティションを通じて、頑健で正確な顔面特徴点位置特定技術の開発を促進すること。
• 制約のない環境を含む現実世界の条件下で、標準化されたベンチマーク上で最先端のディーブラーニングモデルの性能を評価・比較すること。

提案手法

• JD-landmarkデータセットは約16,000枚の画像を含み、トレーニングセットに11,393枚、バリデーションセットに2,000枚、テストセットに2,000枚が含まれ、すべて106個の正確な顔面特徴点で手動アノテーションされている。
• 評価指標は、バウンディングボックス面積の平方根で正規化された平均誤差（NME）であり、NME > 8% の場合を失敗と定義する。
• 最良成績を収めたBaidu Inc.の手法は、autoMLで最適化されたベースモデルを用いたマルチスタック・アワークラスアーキテクチャを採用し、外れ値を排除して耐障害性を向上させるために投票戦略で統合されている。
• 2位のUSTCの手法は、マルチスケールの中間監視と統合回帰を備えたDensely U-Nets Refine Network（DURN）を採用し、ヒートマップのargmax量子化を回避して直接座標を予測している。
• 3位のMeituanの手法は、2重のソフトargmaxを用いた階層型モジュールを導入し、ヒートマップから連続座標にマッピングすることで量子化誤差を低減しており、異なる入力・出力解像度で複数のモデルをトレーニングしている。
• 上位のすべての手法は、高度なデータ拡張、マルチタスク学習（例：セグメンテーション）、モデルアンサンブルを組み合わせ、困難なポーズや被覆に対しても一般化性能を向上させている。

実験結果

リサーチクエスチョン

• RQ1 106点顔面特徴点アノテーション方式は、眉毛や鼻翼などの複雑な顔の部品に対して、標準的な68点方式に比べて顕著に詳細な構造的情報を提供できるか？
• RQ2 高解像度の106点ベンチマークを用いた場合、最先端のディーブラーニングモデルは、ポーズ、表情、被覆の極端な変化下でどの程度の性能を示すか？
• RQ3 autoML、マルチスケール監視、ソフトargmax操作は、制約のない環境下で位置特定の正確性と耐障害性をどの程度向上できるか？
• RQ4 エンドツーエンドでトレーニング可能なフレームワークとアンサンブルベースのアプローチとの間には、現実世界の条件下における密集した顔面特徴点位置特定でどの程度の性能差があるか？

主な発見

• Baidu Inc.の最良手法は、CED曲線で最高のAUC 84.01%を記録し、2位と3位の手法をそれぞれ1.33%と1.79%上回った。
• Baiduの手法は平均NMEが1.31%と最低を記録し、2位のUSTC（1.41%）と3位のMeituan（1.42%）と比較して優れた正確性を示した。
• 失敗率はBaiduの手法が0.10%で最低であり、困難なケースへの処理における優れた頑健性を示した。
• USTCの2位手法は失敗率0.05%を記録し、全チーム中最も低い失敗率を示し、困難なサンプルに対する優れた信頼性を示した。
• Meituanの3位手法は失敗率0.00%を記録し、テストセットで1件の失敗もなかったが、平均NMEはわずかに高かった。
• 上位3チームの手法はテストセットにおいて優れた一般化性能を示し、CED曲線から80%以上のテスト画像がNME 8%未満であることが確認され、データセットの挑戦性と妥当性が裏付けられた。