[論文レビュー] LaFIn: Generative Landmark Guided Face Inpainting

Yang Yang, Xiaojie Guo+3 more|arXiv (Cornell University)|Nov 26, 2019

Face recognition and analysis参考文献 36被引用数 19

ひとこと要約

LaFInは、顔のランドマークを構造的プライアを活用して、リアリスティックさと属性の一貫性を向上させる生成的顔面補完手法を提案する。2ストリームネットワークを採用：顔のトポロジーと表情を推定するランドマーク予測器と、予測されたランドマークに条件付けられたU-Netベースの補完器。CelebA-HQおよびCelebAでFIDスコア4.98（中央マスク時）および5.31（ランダムマスク時）を達成し、最先端の性能を実現した。

ABSTRACT

It is challenging to inpaint face images in the wild, due to the large variation of appearance, such as different poses, expressions and occlusions. A good inpainting algorithm should guarantee the realism of output, including the topological structure among eyes, nose and mouth, as well as the attribute consistency on pose, gender, ethnicity, expression, etc. This paper studies an effective deep learning based strategy to deal with these issues, which comprises of a facial landmark predicting subnet and an image inpainting subnet. Concretely, given partial observation, the landmark predictor aims to provide the structural information (e.g. topological relationship and expression) of incomplete faces, while the inpaintor is to generate plausible appearance (e.g. gender and ethnicity) conditioned on the predicted landmarks. Experiments on the CelebA-HQ and CelebA datasets are conducted to reveal the efficacy of our design and, to demonstrate its superiority over state-of-the-art alternatives both qualitatively and quantitatively. In addition, we assume that high-quality completed faces together with their landmarks can be utilized as augmented data to further improve the performance of (any) landmark predictor, which is corroborated by experimental results on the 300W and WFLW datasets.

研究の動機と目的

• 大規模な遮蔽、異なるポーズ、表情、アイデンティティの下でのリアリスティックな顔面補完の課題に対処する。
• エッジやパースリングマップに依存する従来手法の限界（誤差や冗長性の問題）を克服する。
• 補完された顔の構造的忠実性と属性の一貫性（性別、人種、表情など）を向上させる。
• 予測されたランドマークを有する高品質な生成顔が、ランドマーク検出のための有効なデータ拡張として機能できることを示す。
• ベンチマーク顔データセットにおいて、定性的および定量的評価の両面で優れた性能を達成する。

提案手法

• 2段階のディープラーニングフレームワークを採用：顔ランドマーク予測サブネットと条件付き画像補完サブネット。
• 拡張畳み込み残差ブロックと長距離空間的依存関係を捉える長短時間注意機構を備えたU-Netベースのジェネレータを用い、特徴の集約を強化する。
• 補完器を予測されたランドマークに条件付け、意味的に一貫性がありリアリスティックな顔のテクスチャ生成をガイドする。
• 訓練の安定化のため、ジェネレータおよびディスクリミネータネットワークにインスタンス正規化とスペクトル正規化を統合する。
• スペクトル正規化とleaky ReLUを備えたマルチスケールディスクリミネータを採用し、 adversarial loss の最適化を改善する。
• 300WおよびWFLWでランドマーク予測器のファインチューニングのため、予測されたランドマークを用いて合成された高品質な顔面補完結果をデータ拡張に活用する。

実験結果

リサーチクエスチョン

• RQ1 エッジやパースリングマップと比較して、顔のランドマークが顔面補完においてより頑健で効果的な構造的プライアとして機能するか？
• RQ2 予測されたランドマークに条件付けた補完ネットワークが、リアリスティックさと属性の一貫性をどの程度向上させるか？
• RQ3 正確なランドマークを有する高品質な生成顔面補完結果を、既存のランドマーク検出モデルの性能向上に活用できるか？
• RQ4 多様な遮蔽パターン下で、FID、LPIPS、および知覚的品質の観点から、提案手法は最先端手法と比較してどの程度優れているか？
• RQ5 本モデルは、ポーズ、表情、人種などの多様な顔的属性および大規模な遮蔽に対しても十分に一般化できるか？

主な発見

• LaFInは、中央マスク下でCelebA-HQでFIDスコア4.98を達成し、分布の類似性においてPICおよび他のSOTA手法を上回った。
• ランダムマスク下ではFIDが5.31に達し、不規則な遮蔽パターンに対しても強いロバストネスを示した。
• 定性的な結果から、LaFInは目、鼻、口といったトポロジカル構造とポーズ、表情、人種といった属性の一貫性を、ベースライン手法よりも効果的に保持していることが明らかになった。
• 特に大規模な遮蔽領域において、構造的不一致に起因する知覚的欠陥を顕著に低減した。
• 提案されたデータ拡張戦略により、300WおよびWFLWにおけるランドマーク検出性能が向上し、生成された顔が合成学習データとしての有効性が裏付けられた。
• アブレーションスタディの結果、ランドマークの条件付けがエッジやパースリングマップの監視よりも、より効果的であることが確認された。ランドマークはコンパクトでありながら情報量が多く、優れた構造的プライアを提供する。