[論文レビュー] High Resolution Face Completion with Multiple Controllable Attributes via Fully End-to-End Progressive Generative Adversarial Networks

Zeyuan Chen, Shaoliang Nie+2 more|arXiv (Cornell University)|Jan 23, 2018

Advanced Image Processing Techniques被引用数 30

ひとこと要約

本論文は、低解像度から高解像度へ段階的に学習しながら、属性制御のための条件付きベクトルを活用する、完全なエンドツーエンドのプログレッシブ GAN を、高解像度顔面補完に提案する。1回の順伝播で 1024×1024 解像度の鮮明で現実的な顔を生成し、平均推論時間がわずか 0.007 秒である。最先端の結果を達成している。

ABSTRACT

We present a deep learning approach for high resolution face completion with multiple controllable attributes (e.g., male and smiling) under arbitrary masks. Face completion entails understanding both structural meaningfulness and appearance consistency locally and globally to fill in "holes" whose content do not appear elsewhere in an input image. It is a challenging task with the difficulty level increasing significantly with respect to high resolution, the complexity of "holes" and the controllable attributes of filled-in fragments. Our system addresses the challenges by learning a fully end-to-end framework that trains generative adversarial networks (GANs) progressively from low resolution to high resolution with conditional vectors encoding controllable attributes. We design novel network architectures to exploit information across multiple scales effectively and efficiently. We introduce new loss functions encouraging sharp completion. We show that our system can complete faces with large structural and appearance variations using a single feed-forward pass of computation with mean inference time of 0.007 seconds for images at 1024 x 1024 resolution. We also perform a pilot human study that shows our approach outperforms state-of-the-art face completion methods in terms of rank analysis. The code will be released upon publication.

研究の動機と目的

• 構造的・外見的整合性を保った高解像度顔面補完の課題に対処する。
• 合成された顔領域における複数の属性（例：性別、表情）の制御を可能にする。
• 後処理や反復推論を排除するため、完全なエンドツーエンドフレームワークを設計する。
• 従来手法が大規模なマスクや低解像度、属性制御の欠如といった制限に直面するのを克服する。

提案手法

• 低解像度から高解像度へと段階的に成長するプログレッシブ GAN アーキテクチャを訓練し、粗い構造から細かい構造へと顔の構造を学習する。
• 生成器に条件付きベクトルを統合し、合成中に '男性' や '笑顔' といった属性を明示的に制御する。
• マルチスケールの識別器と補完ネットワークを設計し、クロススケール特徴を活用してリアルさと詳細を向上させる。
• シャープネスと知覚的品質に重点を置いた新しい損失関数を導入し、テクスチャの忠実度を向上させる。
• 後処理ステップなしの完全なエンドツーエンド訓練パラダイムを採用し、ワンパス推論を可能にする。
• 条件付きノイズのインジェクションとスキップ接続を活用し、生成された顔のアイデンティティと対称性を保持する。

実験結果

リサーチクエスチョン

• RQ1 プログレッシブ GAN フレームワークは、構造的・外見的整合性を保ちながら、1024×1024 解像度の顔面補完を達成できるか？
• RQ2 性別や表情といった属性制御を、リアルさを損なわず顔面補完 GAN に効果的に統合できるか？
• RQ3 完全なエンドツーエンドでワンパス推論を行うアプローチは、後処理や反復精錬を要する手法を上回る性能を示せるか？
• RQ4 類似するパッチがコンテキスト内や外部データセットに存在しないような大規模または複雑なマスク下でも、モデルの性能はどの程度保たれるか？

主な発見

• 提案手法は、1024×1024 顔画像あたりの平均推論時間が 0.007 秒にとどまり、リアルタイム補完を可能にした。
• 32名の参加者によるパイロットユーザー調査では、本手法は CE および GL のベースラインと比較して、リアルさにおいて有意に高い順位（p < 0.001）を獲得した。
• 従来の最先端手法と比較して、顔のテクスチャ やしわといったより細かいディテールを捉えた、よりシャープな画像を生成した。
• 条件付きベクトルを用いて '男性' や '笑顔' といった属性を制御し、一貫性があり妥当な属性固有の出力を得られた。
• 強力な性能を発揮しているものの、一部のケースで低レベルの皮膚テクスチャ（例：しわ、汗の毛穴）を捉えきれず、目が左右で色が異なるなど非対称な特徴が生じることがある。
• CE や GL よりも知覚的品質とシャープネスで優れていたが、一部のユーザーは CE が特定の状況でぼやけた出力の方が好ましいと感じた。