[論文レビュー] Make a Face: Towards Arbitrary High Fidelity Face Manipulation

Shengju Qian, Kwan-Yee Lin+6 more|arXiv (Cornell University)|Aug 20, 2019

Face recognition and analysis参考文献 52被引用数 6

ひとこと要約

本論文は、弱い教師信号のみを用いて256×256解像度の顔画像を高精細かつ任意に操作可能な、新たな条件付きVAEフレームワークであるAdditive Focal Variational Auto-encoder (AF-VAE)を提案する。構造的潜在空間における非教師付きクラスタリングを伴う加法的ガウス・ミックスチャネル・プライアと、HVSにインspiredされたアーキテクチャ設計を導入することにより、CelebAにおいて最先端のFID（36.82）とインセプションスコア（2.15）を達成し、顔画像操作タスクにおける画像品質と多様性の両面で顕著な向上を実現した。

ABSTRACT

Recent studies have shown remarkable success in face manipulation task with the advance of GANs and VAEs paradigms, but the outputs are sometimes limited to low-resolution and lack of diversity. In this work, we propose Additive Focal Variational Auto-encoder (AF-VAE), a novel approach that can arbitrarily manipulate high-resolution face images using a simple yet effective model and only weak supervision of reconstruction and KL divergence losses. First, a novel additive Gaussian Mixture assumption is introduced with an unsupervised clustering mechanism in the structural latent space, which endows better disentanglement and boosts multi-modal representation with external memory. Second, to improve the perceptual quality of synthesized results, two simple strategies in architecture design are further tailored and discussed on the behavior of Human Visual System (HVS) for the first time, allowing for fine control over the model complexity and sample quality. Human opinion studies and new state-of-the-art Inception Score (IS) / Frechet Inception Distance (FID) demonstrate the superiority of our approach over existing algorithms, advancing both the fidelity and extremity of face manipulation task.

研究の動機と目的

• 制御不能な条件下で、高精細で多様かつ極端な顔変形を生成できる顔画像操作手法の限界を解消すること。
• 標準VAEが単位ガウス潜在プライアにより引き起こす特徴の不完全な分離と多様性の不足を克服すること。
• ヒューマンビジョナルシステム（HVS）の挙動に基づいたアーキテクチャ設計を用いて、合成顔の知覚的品質を向上させること。
• 敵対的学習や補助的監視を一切用いずに、再構成誤差とKLダイバージェンスの損失のみで安定的かつ制御可能で、アイデンティティを保持する顔画像操作を実現すること。

提案手法

• 潜在空間を外見と構造の表現に分離することで、より良い分離性を実現するAdditive Focal Variational Auto-encoder (AF-VAE)を導入する。
• 構造的潜在空間における非教師付きクラスタリングを活用し、新たな加法的ガウス・ミックスチャネル・プライアをガイドすることで、マルチモーダルな表現と多様性を向上させる。
• 軽量なメモリモジュールを導入し、クラスタリングとプライアを接続することで、多様な顔の表情やポーズの生成を可能にする。
• ヒューマンビジョナルシステム（HVS）の感度に関する実証的分析に基づき、ピクセルシャッフルとウェイト正規化を組み込んだ生成器を設計し、知覚的品質を向上させる。
• 訓練に敵対的損失や複雑な補助損失を一切使用せず、再構成誤差とKLダイバージェンスの損失のみを用いることで、複雑な敵対的または補助的監視を必要としない安定な最適化を実現する。
• 幾何学的ガイド付き分離を適用し、潜在空間内でポーズに依存しない外見と構造的要素を明示的に分離する。

実験結果

リサーチクエスチョン

• RQ1 敵対的学習や複雑な損失項を一切用いずに、シンプルなVAEベースのフレームワークが高精細な顔画像操作を達成できるか。
• RQ2 弱い教師信号のみで、顔画像操作の潜在空間において、分離可能でマルチモーダルな表現をどのように実現できるか。
• RQ3 ヒューマンビジョナルシステム（HVS）にインspiredされたアーキテクチャ的選択が、生成された顔の知覚的品質をどの程度向上させられるか。
• RQ4 構造的および外見的分離のみを用いた場合、極端な顔変形においてもアイデンティティを保持できるか。
• RQ5 個々のモジュール（GMM、ピクセルシャッフル、ウェイト正規化）が、モデル全体の性能にどの程度寄与しているか。

主な発見

• AF-VAEはCelebAデータセットにおいて、Fréchet Inception Distance (FID) が36.82、Inception Score (IS) が2.15を達成し、先行研究の最先端手法を顕著に上回った。
• アブレーションスタディの結果、GMM、ピクセルシャッフル、ウェイト正規化、KLダイバージェンスのいずれかを除去すると、FIDおよびISが顕著に低下した。
• 潜在ベクトル間の補間により、外見および構造の両面で滑らかで写真的リアリズムのある遷移が得られ、密なかつ分離可能な特徴の学習が実現していることが示された。
• 出力画像の輪郭と元画像の輪郭が類似している境界マップを条件として与えた場合、アイデンティティの保持が成功したが、輪郭が著しく異なる場合には失敗した。
• 失敗事例から、レアオブジェクト、オクルージョン、スタイライズド入力の処理に限界があることが判明し、強い構造的整合性が原因でぼやけた画像や不自然な変形が生じる傾向にあった。