[論文レビュー] MIXGAN: Learning Concepts from Different Domains for Mixture Generation

Guang-Yuan Hao, Hong-Xing Yu+1 more|arXiv (Cornell University)|Jul 4, 2018

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 3

ひとこと要約

MIXGANは、1つのドメインからコンテンツの概念を学び、別のドメインからスタイルの概念を学ぶことで、これらの異なる概念を融合させることで新たなドメインの画像を合成する、革新的な生成対抗ネットワークを提案する。階層的コンテンツデコーダーとスタイル埋め込み混合デコーダーを用いることで、MIXGANは混合生成において優れた性能を達成し、人的評価では70%の成功率を記録した。これはAAE、LSGAN、CycleGANが10%未満にとどまるのと比べ顕著に優れている。

ABSTRACT

In this work, we present an interesting attempt on mixture generation: absorbing different image concepts (e.g., content and style) from different domains and thus generating a new domain with learned concepts. In particular, we propose a mixture generative adversarial network (MIXGAN). MIXGAN learns concepts of content and style from two domains respectively, and thus can join them for mixture generation in a new domain, i.e., generating images with content from one domain and style from another. MIXGAN overcomes the limitation of current GAN-based models which either generate new images in the same domain as they observed in training stage, or require off-the-shelf content templates for transferring or translation. Extensive experimental results demonstrate the effectiveness of MIXGAN as compared to related state-of-the-art GAN-based models.

研究の動機と目的

• 既存のGANがトレーニングデータのドメイン内でのみ生成するという制限を解消すること。
• スタイル変換や画像対画像翻訳モデルにおける事前定義されたコンテンツテンプレートの必要性を克服すること。
• 1つのドメインからのコンテンツと別のドメインからのスタイルを組み合わせた、新たなハイブリッドドメインの画像生成を可能にすること。
• コンテンツとスタイルの明示的な学習と融合を可能にするフレームワークを構築すること、これによりクリエイティブな画像合成を実現すること。

提案手法

• MIXGANは、コンテンツドメイン（例：バッグの形状）から階層的特徴を抽出するコンテンツデコーダーを備えた混合生成器を採用する。
• 混合デコーダーはスタイルドメイン（例：靴の色のパターン）からスタイルの概念を学び、コンテンツ特徴に段階的にスタイルを統合するように設計されている。
• 生成を開始するためにノイズを潜在コードとして使用し、調理の材料を購入するのと同様のプロセスにたとえられる。
• 生成画像と実画像を区別するための条件付き敵対的訓練方式を採用し、リアルな出力を促進する。
• 生成されたサンプルを最も近いトレーニング分布に割り当てるために、深層バイナリ分類器を用い、MMDに基づく評価を実施する。
• 敵対的損失と再構成損失を用いて、コンテンツとスタイルの忠実度を保ちながら、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 事前定義されたコンテンツテンプレートに依存せずに、1つのドメインからのコンテンツと別のドメインからのスタイルを組み合わせた画像をGANベースのモデルが生成できるか？
• RQ2 コンテンツとスタイルの概念をどのように分離し、異なるドメインから同時に学習し、効果的な混合生成に統合できるか？
• RQ3 分布分析の証拠に基づいて、モデルは両方のトレーニング分布とは異なる新しいドメインに属するサンプルを生成できるか？
• RQ4 人的評価とMMD距離の指標によって測定した場合、既存のGANと比較して、このモデルは概念的に融合された画像をどの程度優れて生成できるか？

主な発見

• MIXGANは、2つの異なるドメインからのコンテンツとスタイルを組み合わせた画像生成において、人的評価で70%以上の成功を記録した。これはAAE、LSGAN、CycleGANが10%未満にとどまるのと比べ顕著に優れている。
• t-SNE可視化により、MIXGANが生成したサンプルが、2つのトレーニング分布の「間の」分布に位置していることが確認され、成功した混合生成が実現されたことが示された。
• ベースラインと比較して、MIXGANの生成サンプルとその最も近いトレーニングセットとのMMD距離が高かったため、生成画像が単なるトレーニングデータの複製であるとは限らないことが示唆された。
• 手書き数字のコンテンツとタイプセット文字のスタイルを組み合わせることで、カラフルなタイプセット風の数字を効果的に生成した。これはクロスドメイン統合の有効性を示している。
• バッグと靴のタスクにおいて、MIXGANは視覚的に整合性のある画像を生成し、バッグの形状（コンテンツ）と靴の色のパターン（スタイル）が明確に知覚可能な形で融合されていた。
• アブレーションスタディにより、混合生成器の設計—コンテンツとスタイルの学習を分離し、階層的デコーダーを介して統合する—が性能向上に不可欠であることが確認された。