[論文レビュー] Shape Preserving Facial Landmarks with Graph Attention Networks

Andrés Prados-Torreblanca, José M. Buenaposada+1 more|arXiv (Cornell University)|Oct 13, 2022

Face recognition and analysis被引用数 6

ひとこと要約

本論文では、畳み込みニューラルネットワーク（CNN）バックボーンと段階的なグラフ自己注意ネットワーク（GAT）の組み合わせにより、局所的な外観とグローバルな幾何的関係を学習する新規な顔関節点検出モデルSPIGAを提案する。位置符号化、自己注意メカニズム、粗くから細かくまでの精錬戦略を統合することで、遮蔽、ぼやけ、極端な照明といった困難な状況下でも最先端の性能を達成する。

ABSTRACT

Top-performing landmark estimation algorithms are based on exploiting the excellent ability of large convolutional neural networks (CNNs) to represent local appearance. However, it is well known that they can only learn weak spatial relationships. To address this problem, we propose a model based on the combination of a CNN with a cascade of Graph Attention Network regressors. To this end, we introduce an encoding that jointly represents the appearance and location of facial landmarks and an attention mechanism to weigh the information according to its reliability. This is combined with a multi-task approach to initialize the location of graph nodes and a coarse-to-fine landmark description scheme. Our experiments confirm that the proposed model learns a global representation of the structure of the face, achieving top performance in popular benchmarks on head pose and landmark estimation. The improvement provided by our model is most significant in situations involving large changes in the local appearance of landmarks.

研究の動機と目的

• 顔関節点同士の長距離空間的関係をモデル化する際のCNNの限界を解消すること。
• 遮蔽、ぼやけ、濃いメイク、極端な照明といった困難な状況における耐性を高めること。
• 高い正確性を維持しつつ、顔の幾何的形状を保持するグローバルな表現を学習すること。
• マルチタスク学習と構造的初期化を通じて、収束性が向上したエンドツーエンド学習を可能にすること。
• 外見の曖昧さを伴うハードケースを含むベンチマークデータセットにおいて、既存手法を上回ること。

提案手法

• 高品質な局所的外観表現を得るためのマルチステージヒートマップベースのCNNバックボーンを採用する。
• ランドマークの外観と空間的位置を統合的に表現する位置符号化を導入し、GATの入力品質を向上させる。
• 学習可能な自己注意メカニズムを備えたグラフ自己注意ネットワーク（GAT）を用い、ランドマーク間の長距離幾何的依存関係をモデル化する。
• 粗くから細かくまでの特徴抽出スキームを実装し、回帰ステージを経て注意が遠くのランドマークから近いランドマークへとシフトするようにする。
• 顔の向き推定のためのマルチタスクヘッドをバックボーンに適用し、ランドマーク位置の正確な初期化を提供する。
• 各GAT段階がグラフ構造上のコンテキストに配慮した自己注意を用いてランドマーク位置を精錬する段階的レジラッションフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 位置符号化と自己注意メカニズムを備えたGATベースのレジレッサーは、標準的なCNNと比較して、顔関節点検出におけるグローバルな幾何的モデリングをどのように改善するか？
• RQ2 粗くから細かくまでの自己注意メカニズムは、外見が曖昧または劣化した場合の性能にどのように影響するか？
• RQ3 顔の向き推定を用いたマルチタスク学習が、ランドマーク初期化と全体の収束性にどの程度寄与するか？
• RQ4 各アーキテクチャ的要素（例：位置符号化、自己注意、段階数）が最終的な性能に果たす寄与度はどの程度か？
• RQ5 先行の最先端手法と比較して、遮蔽、ぼやけ、メイクといったハードケースへの一般化性能は向上しているか？

主な発見

• SPIGAはWFLW、COFW-68、MERL-RAVデータセットにおいて最先端の性能を達成し、WFLWテストセットではNMEが4.06にまで低下した。
• WFLWにおけるNPE90は6.76にまで低下し、困難な状況下でも優れた耐性を示した。
• 位置符号化が性能に最も顕著な寄与を示し、これを備えないモデルと比較して、ハードサブセットでは最大0.32 NMEポイントの改善を達成した。
• 粗くから細かくまでの自己注意メカニズムは、固定ウィンドウサイズ（例：w=8 や w=1）と比較して、特に遮蔽やぼやけの状況で性能を向上させた。
• 最初のGAT層は遠くの信頼性の高いランドマークに注目するが、後続の層では近隣のランドマークに注目するようになり、効果的なグローバルからローカルへの精錬が実現していることが示された。
• 3段階の段階的構造が、正確性と耐性のバランスを最良にした。FR10は2.60から2.08に低下し、外れ値の排除能力が向上した。