[論文レビュー] Generative Face Completion

Yijun Li, Sifei Liu+2 more|arXiv (Cornell University)|Apr 19, 2017

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 93

ひとこと要約

この論文は、オートエンコーダ生成器と2つの対抗的識別器（局所と全体）にセマンティックパーシング損失を組み合わせた深層生成モデルを用いて、顔の欠搏領域を意味的に整合性がありフォトリアルに補完する手法を提案します。

ABSTRACT

In this paper, we propose an effective face completion algorithm using a deep generative model. Different from well-studied background completion, the face completion task is more challenging as it often requires to generate semantically new pixels for the missing key components (e.g., eyes and mouths) that contain large appearance variations. Unlike existing nonparametric algorithms that search for patches to synthesize, our algorithm directly generates contents for missing regions based on a neural network. The model is trained with a combination of a reconstruction loss, two adversarial losses and a semantic parsing loss, which ensures pixel faithfulness and local-global contents consistency. With extensive experimental results, we demonstrate qualitatively and quantitatively that our model is able to deal with a large area of missing pixels in arbitrary shapes and generate realistic face completion results.

研究の動機と目的

• パッチベースの背景埋め込みを超え、欠損顔領域に意味的に有効なコンテンツを生成して強靭な顔補完を動機づける。
• 文脈条件付きの深いオートエンコーダ生成器を開発し、顔の大きく不規則なマスクを埋める。
• 局所的および全体的な対向損失の両方で生成を正規化し、リアリズムと全体的一貫性を確保する。
• 周囲の文脈と顔の構造の整合性を強制するセマンティックパーシングネットワークを組み込む。
• さまざまなマスクサイズと形状に対して qualitative および quantitative 評価を通じて CelebA での有効性を実証する。

提案手法

• VGG-19特徴に基づくEncoder-Decoder生成器を追加層で拡張したもの。
• 二つの識別器：局所識別器はマスク領域内のリアリズムに焦点を当て、全体識別器は画像全体のリアリズムを強制する。
• 固定されたセマンティックパーシングネットワークが生成コンテンツを顔部位と整合させる意味的正則化損失を提供する。
• 対向損失を補完する明示的再構成損失（Lr）で学習を安定化させる。
• 全体の損失 L = Lr + λ1La1 + λ2La2 + λ3Lp が画素忠実度、局所リアリズム、全体リアリズム、パース整合性のバランスを取る。
• カリキュラム学習戦略により対向損失とパース損失を徐々に導入して学習を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは外部のパッチデータベースなしに意味的に妥当で写真品質の欠損顔領域を合成できるか。
• RQ2 局所および全体の対向損失とセマンティックパーシングを加えることで補完のリアリズムと顔の一貫性は改善されるか。
• RQ3 大きな不規則マスクや顔のポーズ／アライメントの変動下でモデルはどのように性能を発揮するか。
• RQ4 意味的正則化は補完時の同一性と顔の構造をどの程度保持するか。
• RQ5 異なるマスクサイズが補完品質と同一性の保持に与える影響はどの程度か。

主な発見

マスク	M1	M2	M3	M4	CE	M5
O1	0.798	0.753	0.782	0.804	0.772	0.824
O2	0.805	0.763	0.787	0.808	0.774	0.826
O3	0.723	0.675	0.708	0.731	0.719	0.759
O4	0.747	0.701	0.741	0.759	0.754	0.789
O5	0.751	0.706	0.732	0.755	0.757	0.784
O6	0.807	0.764	0.808	0.824	0.818	0.841

• 定性的な結果は大きく不規則なマスクに対して現実的で意味論的に妥当な顔の補完を示す。
• CelebA での定量的結果は六つのマスク設定で SSIM および PSNR のベースラインを上回ることを示す。
• 同一性距離の指標は、単純な再構成やランダムノイズ充填に比べて同一性をより良く保持することを示唆するが、大規模マスクではギャップが残る。
• 局所と全体の二重識別器とセマンティックパーシングの組み合わせは、より一貫したディテールと顔特徴の整列を実現する。
• 本手法はマスクサイズの多様性（小さめのマスクが最も良い結果）と異なる遮蔽パターンへ一般化する。