[論文レビュー] Unsupervised Learning of Landmarks based on Inter-Intra Subject Consistencies

Weijian Li, Haofu Liao+3 more|arXiv (Cornell University)|Apr 16, 2020

Face recognition and analysis参考文献 34被引用数 4

ひとこと要約

本稿では、サイクル整合性のある画像変換と被験者マッピングモジュールを用いて、被験者間および被験者内の一貫性を強制することで、教師なし顔ランドマーク検出手法を提案する。補助画像を用いて構造的変換をガイドし、被験者間および被験者内でのランドマークの一貫性を強制することで、MAFLおよびAFLWデータセットにおいて最先端の性能を達成し、ランドマーク局所化の精度と安定性に優れる。

ABSTRACT

We present a novel unsupervised learning approach to image landmark discovery by incorporating the inter-subject landmark consistencies on facial images. This is achieved via an inter-subject mapping module that transforms original subject landmarks based on an auxiliary subject-related structure. To recover from the transformed images back to the original subject, the landmark detector is forced to learn spatial locations that contain the consistent semantic meanings both for the paired intra-subject images and between the paired inter-subject images. Our proposed method is extensively evaluated on two public facial image datasets (MAFL, AFLW) with various settings. Experimental results indicate that our method can extract the consistent landmarks for both datasets and achieve better performances compared to the previous state-of-the-art methods quantitatively and qualitatively.

研究の動機と目的

• 完全に教師ありの顔ランドマーク検出における高いアノテーションコストと主観性の問題を解決すること。
• 異なる被験者間での意味的整合性を強制することで、教師なしランドマーク発見を向上させること。
• サイクル整合性のある画像変換フレームワークを用いて被験者内ランドマークの一貫性を強化すること。
• 人間によるアノテート済みランドマークに依存するのを減らしながらも、高い局所化精度を維持すること。
• 多様な顔の外見やポーズにうまく一般化する自己教師あり手法を開発すること。

提案手法

• 本手法は、異なる被験者の補助画像から抽出したランドマークヒートマップに基づいて、入力画像を変換する被験者マッピングモジュールを用いる。
• 二パス、サイクル整合性のある設計を採用：入力から変換画像への前向き変換と、元の画像への後向き再構成変換を実行し、被験者内の一貫性を強制する。
• 特徴マップからガウス型関数を用いてランドマークヒートマップを生成し、画像変換の構造的ガイドとして機能させる。
• 再構成損失とVGG-16を用いた感知損失の組み合わせにより、意味的および構造的詳細を保持するようにモデルを訓練する。
• ネットワークはエンドツーエンドで学習可能であり、ランドマーク検出器は被験者間で一貫性があり意味的に意味のあるキーポイントを同時に最適化する。
• 画像再構成を自己教師信号として活用し、被験者間および被験者内での変換サイクルを通じて構造的一致性を強制する。

実験結果

リサーチクエスチョン

• RQ1 人間によるアノテート済みラベルが一切ない状況下でも、被験者間のランドマーク一貫性を効果的に強制できるか？
• RQ2 サイクル整合性のある変換パスを組み込むことで、被験者内ランドマーク局所化の安定性がどのように向上するか？
• RQ3 異なる被験者からの補助画像を用いることで、検出されたランドマークの意味的整合性はどの程度向上するか？
• RQ4 再構成損失に加えて感知損失を組み合わせることで、再構成損失のみを用いる場合よりも良好なランドマーク局所化が達成できるか？
• RQ5 低データ環境下でのモデルの性能はいかに高く、多様な顔のデータセットに一般化できるか？

主な発見

• 提案手法は、K=10ランドマークでMAFLでは平均誤差3.08、AFLWでは6.20を達成し、以前の最先端手法を上回る性能を示した。
• AFLWでは、Jakabら[11]およびSanchezら[12]の手法を上回り、特にK=50の高密度ランドマークの場合に顕著に優れた性能を示し、ランドマーク数の増加に対しても高いロバストネスを示した。
• 低データ環境下でも強力な一般化性能を示し、たった100枚の訓練画像でもほぼ飽和した性能を達成し、複数の実行で標準偏差が低く保たれた。
• 定性的な結果から、予測されたランドマークは、しばしば髪の毛や首にランドマークを予測してしまうベースラインと比べ、より安定的かつ意味的に意味のある位置（例：目頭、鼻先）に配置されていることが確認された。
• アブレーションスタディの結果、感知損失と再構成損失を併用することで最良の性能が得られ、特徴抽出にVGG-16がVGG-19を上回ることが確認された。
• 特に前額部および目の領域において、被験者間でのランドマーク位置のずれが減少したが、遮蔽やポーズ変化の下ではわずかなばらつきが残存した。