[論文レビュー] Coupled Generative Adversarial Networks

Ming-Yu Liu, Oncel Tuzel|arXiv (Cornell University)|Jun 24, 2016

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 102

ひとこと要約

CoGANは、2つのGAN間で高レベル特徴デコーディングを共有することにより、対応する画像タプルなしでマルチドメイン画像の共同分布を学習し、教師なしの共同生成、ドメイン適応、画像変換を可能にする。

ABSTRACT

We propose coupled generative adversarial network (CoGAN) for learning a joint distribution of multi-domain images. In contrast to the existing approaches, which require tuples of corresponding images in different domains in the training set, CoGAN can learn a joint distribution without any tuple of corresponding images. It can learn a joint distribution with just samples drawn from the marginal distributions. This is achieved by enforcing a weight-sharing constraint that limits the network capacity and favors a joint distribution solution over a product of marginal distributions one. We apply CoGAN to several joint distribution learning tasks, including learning a joint distribution of color and depth images, and learning a joint distribution of face images with different attributes. For each task it successfully learns the joint distribution without any tuple of corresponding images. We also demonstrate its applications to domain adaptation and image transformation.

研究の動機と目的

• 別々の周辺サンプルからマルチドメイン画像の共同分布を学習する動機づけ。
• GANにおける重み共有を導入することで、明示的にペアになった訓練データの必要性を取り除く。
• 高レベル表現を共有することで、ドメイン間の共同生成を可能にすることを示す（例：色-深度、属性付き/なしの顔）。

提案手法

• 高レベルデコーダ層の重み共有制約を伴う2つのドメイン用GANのペアへGANフレームワークを拡張する。
• 生成器の最初のk層を共有して、ドメイン間で共通の高レベル意味論を強制する。
• 識別器の最後のl層を共有して、ドメイン間で高レベルの決定境界を整合させる。
• 両ドメインにまたがる標準のGAN損失を最適化しつつ、重み共有を課す制約付きミニマックス目的関数を定義する。
• ジョイントドメイン対応なしで、各ドメインの周辺分布からのサンプルで訓練する。
• 生成ペア間のピクセルレベルの合致度で評価し、条件付きGANのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 2つの画像ドメインに対する共同分布を、ペア訓練データなしで学習できるか？
• RQ2 生成器への重み共有の強制は、独立した周辺サンプルから対応するクロスドメイン出力を可能にするか？
• RQ3 色-深度の組み合わせや属性ベースの顔生成、ドメイン適応といったタスクでCoGANはどのように機能するか？

主な発見

• CoGANは周辺サンプルのみを用いて2つの画像ドメインの共同分布を学習できる。
• 生成器の重み共有レイヤを増やすと性能が向上し、共有された高レベル意味論が共同生成を推進していることを示している。
• 識別器の重み共有はパラメータ効率に有益だが、共同分布の学習には必須ではない。
• CoGANはデジットエッジとデジットネガティブタスクで、ピクセル合致度指標において条件付きGANベースラインを上回る。
• CoGANは対応する訓練例なしでカラー-深度ペアや顔属性ペアを生成でき、教師なしの共同分布学習を示す。
• 応用には教師なしドメイン適応（例：MNISTからUSPS）やクロスドメイン画像変換が含まれる。