[論文レビュー] JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets

Yunchen Pu, Shuyang Dai+6 more|arXiv (Cornell University)|Jun 8, 2018

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 21

ひとこと要約

JointGANは、敵対的訓練を用いて複数の確率変数（例：画像、テキスト、ラベル）の周辺分布と条件付き分布を同時に学習する、新たな生成的敵対的ネットワークフレームワークを導入する。共有パラメータを持つ生成器と1つのソフトマックスベースの識別器を採用することで、周辺分布、条件付き分布、または完全な結合分布からのエンドツーエンド合成が可能となり、ペアド・アンペアドの両設定において、画像の関連性と品質の面で二段階ベースラインを著しく上回る性能を発揮する。

ABSTRACT

A new generative adversarial network is developed for joint distribution matching. Distinct from most existing approaches, that only learn conditional distributions, the proposed model aims to learn a joint distribution of multiple random variables (domains). This is achieved by learning to sample from conditional distributions between the domains, while simultaneously learning to sample from the marginals of each individual domain. The proposed framework consists of multiple generators and a single softmax-based critic, all jointly trained via adversarial learning. From a simple noise source, the proposed framework allows synthesis of draws from the marginals, conditional draws given observations from a subset of random variables, or complete draws from the full joint distribution. Most examples considered are for joint analysis of two domains, with examples for three domains also presented.

研究の動機と目的

• 複数の確率変数の完全な結合分布を学習する統一された生成モデルの開発、すなわち条件付き分布や周辺分布の学習にとどまらないこと。
• 既存のGANが実験的周辺分布に依存しており、学習済み周辺分布からの合成ができないという制限を克服すること。
• 実データと合成データの比較を1つのソフトマックスベースの識別器に統合し、複雑さを軽減するとともに学習効率を向上させること。
• パラメータの爆発を避けるために共有パラメータを用いることで、3つ以上のドメインを含むマルチドメイン設定への拡張を可能にすること。
• 画像、テキスト、ラベルなどの多様なデータタイプにおいて、教師ありおよび教師なし学習の両パラダイムでモデルの有効性を示すこと。

提案手法

• フレームワークは結合分布を q(x,y) = q(x)q(y|x) = q(y)q(x|y) と分解し、敵対的訓練を用いて周辺分布と条件付き分布の両方を学習する。
• 4つの生成器を採用する：周辺サンプリング用に2つ（q(x) と q(y)）、条件付きサンプリング用に2つ（q(y|x) と q(x|y)）。
• 1つの5クラスソフトマックス識別器が、実データと4種類の合成データ（周辺サンプル、条件付きサンプル、結合サンプル）を区別する。
• すべての生成器と識別器を敵対的学習により同時に訓練し、生成器間でパラメータを共有することでモデルの複雑さを低減する。
• 3つの合成モードをサポートする：周辺分布からのサンプリング、観測済み変数を条件とした条件付きサンプリング、ノイズ源からの完全な結合分布からのサンプリング。
• 3つ以上のドメインへ一般化するには、生成器と識別器の設計を適切に拡張する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、複数のドメインにまたがる周辺分布と条件付き分布を同時に学習し、完全な結合分布からのサンプリングを可能にするか？
• RQ2 共有パラメータと1つの識別器を持つ設計は、複数の識別器や二段階ベースラインと比較して、サンプル品質と分布マッチングの面でどのように差をつけるか？
• RQ3 JointGANは、3つ以上のドメインへ一般化する際、サンプルの多様性と忠実性を維持できるか？
• RQ4 既存の二段階アプローチ（例：GAN + 条件付きGAN）に比べ、教師ありおよび教師なしの結合生成タスクで優れた性能を発揮するか？
• RQ5 ペアドトレーニングデータが不要な状況でも、モデルは一貫性があり高品質なペアドサンプル（例：画像-キャプション、画像-ラベル）を生成できるか？

主な発見

• ペアドデータを用いたfacades-to-labels-to-cityscapesタスクにおいて、JointGANは関連性スコア0.488を達成し、WGAN-GP + Pix2pixベースライン（0.352）を著しく上回った。
• アンペアド設定では、JointGANは関連性スコア0.452を達成し、WGAN-GP + CycleGANベースライン（0.203）を上回り、優れたゼロショット一般化性能を示した。
• Caltech-UCSD Birdsデータセットでは、JointGANは多様で一貫性のある画像-キャプション特徴ペアを効果的に生成し、ノイズからの高品質な画像生成と正確なキャプション特徴再構成を実現した。
• モデルの1つのソフトマックス識別器は、5つの実データ対合成データの比較を効果的に統合し、学習安定性を向上させるとともにアーキテクチャの複雑さを軽減した。
• 定性的な結果から、JointGANはドメイン間で現実的で多様かつ意味的に整合性のあるペアドサンプル（画像-キャプション翻訳、画像-ラベル翻訳など）を生成することが明らかになった。
• フレームワークは、周辺分布、条件付き分布、または完全な結合分布からのエンドツーエンドの結合サンプリングを可能にし、従来のモデルに比べてより高い柔軟性を提供する。