[論文レビュー] AnchorFace: An Anchor-based Facial Landmark Detector Across Large Poses

Zixuan Xu, Banghuai Li+2 more|arXiv (Cornell University)|Jul 7, 2020

Face recognition and analysis参考文献 43被引用数 8

ひとこと要約

AnchorFaceは、ポーズ固有のアンカー・テンプレートを用いて回帰探索空間を分割し、信頼度重み付けによる予測集約を実行することで、大きなポーズ変動下でも精度と耐障害性を向上させるアンカーベースの顔ランドマーク検出フレームワークを提案する。AFLW、300W、Menpo、WFLWベンチマークで、推論速度が約45 FPSであるSOTA性能を達成している。

ABSTRACT

Facial landmark localization aims to detect the predefined points of human faces, and the topic has been rapidly improved with the recent development of neural network based methods. However, it remains a challenging task when dealing with faces in unconstrained scenarios, especially with large pose variations. In this paper, we target the problem of facial landmark localization across large poses and address this task based on a split-and-aggregate strategy. To split the search space, we propose a set of anchor templates as references for regression, which well addresses the large variations of face poses. Based on the prediction of each anchor template, we propose to aggregate the results, which can reduce the landmark uncertainty due to the large poses. Overall, our proposed approach, named AnchorFace, obtains state-of-the-art results with extremely efficient inference speed on four challenging benchmarks, i.e. AFLW, 300W, Menpo, and WFLW dataset. Code will be available at https://github.com/nothingelse92/AnchorFace.

研究の動機と目的

• 大きなポーズ変動下における顔ランドマークの局所化の課題に対処すること。従来の回帰手法は高い不確実性と誤差を示すことがある。
• 多様な顔のポーズに一致する事前定義されたアンカー・テンプレートを用いて探索空間を分割することで、ランドマーク回帰の複雑さを低減すること。
• 複数のアンカーからの予測を信頼度重み付き投票で集約することにより、遮蔽およびノイズの多いアノテーションに対する耐障害性を向上させること。
• 実用的な制約のない環境での実装を想定し、高い精度を維持しながらリアルタイムの推論速度を達成すること。

提案手法

• 本手法は、分割・集約戦略を採用する。まず、K-meansクラスタリングまたは手動で設計されたテンプレートから得られるアンカー・テンプレートの集合を用いて探索空間を分割する。
• 各アンカー・テンプレートに対して、ネットワークは軽量バックボーン（例：ShuffleNet-V2）を用いてアンカーから真のランドマーク位置への2次元オフセットを回帰する。
• 各アンカーの予測の信頼性を予測する別途の信頼度ブランチを設け、全アンカーの結果を信頼度重み付きで集約可能にする。
• 最終的なランドマーク座標は、予測された信頼度を重みとする全アンカー予測の重み付き平均として計算され、曇りや遮蔽による曇りの強いランドマークからの不確実性が低減される。
• アンカー・テンプレートは、ベース・テンプレートをヨー、ピッチ、ロールの次元にわたって変換することで、トレーニングデータ内の大きなポーズ変動をカバーする。
• アンカーサイズ（56×56）、アンカーグリッド（7×7）、テンプレート数（24）などのハイパーパrameterは、アブレーションを通じて精度と効率のバランスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 アンカーベースの設計は、大きなポーズ変動下における顔ランドマーク局所化の回帰難易度を効果的に低減できるか？
• RQ2 複数アンカー予測の信頼度重み付き集約は、遮蔽およびアノテーションノイズに対してどのように耐障害性を向上させるか？
• RQ3 精度と推論速度のバランスを最適化するためのアンカー・テンプレート、アンカーサイズ、アンカーグリッドの最適な設定は何か？
• RQ4 提案された分割・集約戦略は、直接回帰法および既存のSOTA手法を上回る性能を、大きなポーズ変動を含むベンチマークで示せるか？

主な発見

• AnchorFaceは、AFLW、300W、Menpo、WFLWの4つの大きなポーズを含むベンチマークでSOTA性能を達成し、ベースライン回帰手法と比較して平均誤差を最大10%まで低減した。
• 信頼度重み付き集約戦略は、argmaxおよび平均集約を上回り、全ベンチマークで平均誤差を0.02～0.16低減した。
• K-meansクラスタリングを用いて生成された24個のアンカー・テンプレートは、手動設計のテンプレートよりも優れた性能を示し、データ駆動型のテンプレート設計がより効果的であることを示している。
• 最適なアンカーサイズは画像中央部の56×56であり、7×7のアンカーグリッドが精度と計算コストの最良のトレードオフを提供した。
• 単一のNVIDIA Titan Xp GPU上で推論速度は約45 FPSを達成し、実用的な展開に適したリアルタイム性能を示した。
• アブレーションスタディにより、アンカーベースの回帰は全ポーズカテゴリで誤差を0.1～0.3低減しており、特に極端なヨー角およびピッチ角において顕著な改善が得られた。