[論文レビュー] Biphasic Learning of GANs for High-Resolution Image-to-Image Translation

Jie Cao, Huaibo Huang+4 more|arXiv (Cornell University)|Apr 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 5

ひとこと要約

本稿では、低解像度の敵対的訓練フェーズと、知識蒸留と知覚的一致正則化を用いた高解像度強化フェーズに訓練を分離することで、高解像度画像間翻訳の訓練安定性と品質を向上させる、新しいGAN訓練フレームワーク「バイフェージック学習」を提案する。この手法は1024²解像度で最先端の結果を達成し、視覚的品質と訓練安定性の両面で先行手法を顕著に上回る。

ABSTRACT

Despite that the performance of image-to-image translation has been significantly improved by recent progress in generative models, current methods still suffer from severe degradation in training stability and sample quality when applied to the high-resolution situation. In this work, we present a novel training framework for GANs, namely biphasic learning, to achieve image-to-image translation in multiple visual domains at $1024^2$ resolution. Our core idea is to design an adjustable objective function that varies across training phases. Within the biphasic learning framework, we propose a novel inherited adversarial loss to achieve the enhancement of model capacity and stabilize the training phase transition. Furthermore, we introduce a perceptual-level consistency loss through mutual information estimation and maximization. To verify the superiority of the proposed method, we apply it to a wide range of face-related synthesis tasks and conduct experiments on multiple large-scale datasets. Through comprehensive quantitative analyses, we demonstrate that our method significantly outperforms existing methods.

研究の動機と目的

• GANを高解像度画像間翻訳に適用する際の著しい訓練安定性の低下とサンプル品質の劣化を是正すること。
• 1024²解像度において安定的かつ効果的な敵対的学習を可能にする訓練フレームワークの開発。
• ペairedデータに依存せずに、視覚的リアリズムと意味的一致性を向上させること。
• 知識蒸留と知覚レベルの監督を用いてモデル容量と一般化性能を向上させること。

提案手法

• フレームワークは訓練を二段階に分割する：初期の低解像度敵対的訓練フェーズと、その後の高解像度強化フェーズ。
• 初期の判別器から高解像度の生成器および判別器へと知識を転送するため、継承された敵対的損失を導入する。
• 初期フェーズで訓練された補助的判別器は固定され、強化フェーズで監視ヘッドとして再利用される。
• 事前学習済みのニューラル推定器を用いて、入力画像と変換画像間の知覚的類似性を最大化するための相互知覚情報正則化を設計する。
• 損失関数はフェーズ間で適応的に更新され、強化フェーズではピクセルレベルの損失が知覚レベルの監督に置き換えられる。
• 本手法は教師なし設定で動作し、ペairedデータに依存せず、アイデンティティおよび属性の一貫性を維持する。

実験結果

リサーチクエスチョン

• RQ1 2段階の訓練戦略は、1024²解像度におけるGANの訓練安定性を向上させ、サンプル品質を改善できるか？
• RQ2 低解像度の判別器から得られる知識を、高解像度画像生成の向上に効果的に転送できるか？
• RQ3 ペairedデータが存在しない状況でも、特徴量間の相互情報推定が知覚的一致性を向上させられるか？
• RQ4 知識蒸留と知覚正則化を組み合わせることで、標準的なGAN損失に比べて視覚的リアリズムが向上するか？
• RQ5 本フレームワークは、フロントライゼーションや属性変換を含む多様な顔関連翻訳タスクに一般化可能か？

主な発見

• BiL-GANは、Multi-PIEデータセットにおいて±15°のポーズ変動下で99.96％のランク1顔認識率を達成し、すべての先行手法を上回った。
• 同じデータセットでは±60°でも99.90％を達成し、次に優れた手法（HF-PIM）の99.1％を顕著に上回った。
• RaFDにおける顔面アニメーションでは、±15°で99.96％の認識率を達成し、前回の最先端手法（HF-PIM）の99.9％を上回った。
• アブレーションスタディの結果、相互知覚情報損失を削除すると性能が著しく低下し、その重要性が確認された。
• 本手法は1024²解像度で視覚的に現実的で高精細な結果を生成し、CycleGANや他の最先端手法と比較して、テクスチャの詳細とアイデンティティの保持が向上した。
• フェーズ遷移中でも安定性を維持し、特に高解像度下でもモード崩壊を回避した。