[論文レビュー] Triangle Generative Adversarial Networks

Zhe Gan, Li‐Qun Chen+6 more|arXiv (Cornell University)|Sep 19, 2017

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 78

ひとこと要約

Δ-GAN は、two 生成器と two 識別器を導入し、two ドメイン間で半教師ありジョイント分布整合を行い、限られたペアデータで双方向マッピングを可能にする。

ABSTRACT

A Triangle Generative Adversarial Network ($Δ$-GAN) is developed for semi-supervised cross-domain joint distribution matching, where the training data consists of samples from each domain, and supervision of domain correspondence is provided by only a few paired samples. $Δ$-GAN consists of four neural networks, two generators and two discriminators. The generators are designed to learn the two-way conditional distributions between the two domains, while the discriminators implicitly define a ternary discriminative function, which is trained to distinguish real data pairs and two kinds of fake data pairs. The generators and discriminators are trained together using adversarial learning. Under mild assumptions, in theory the joint distributions characterized by the two generators concentrate to the data distribution. In experiments, three different kinds of domain pairs are considered, image-label, image-image and image-attribute pairs. Experiments on semi-supervised image classification, image-to-image translation and attribute-based image generation demonstrate the superiority of the proposed approach.

研究の動機と目的

• 関連する two ドメイン間で半教師ありジョイント分布整合を動機づけ、対処する。
• Propose a four-network GAN (two generators, two discriminators) to learn bidirectional conditional distributions.
• Provide a theoretical guarantee that the learned joint distributions concentrate to the data distribution under mild assumptions.
• Demonstrate versatility across domain pairs such as image-label, image-image, and image-attribute with applications to classification, translation, and editing.

提案手法

• Two generators learn bidirectional conditional distributions between domains: p_x(x|y) and p_y(y|x).
• Two discriminators jointly implement a ternary discriminative function to distinguish real pairs from two kinds of fake pairs.
• Adversarial training jointly optimizes the generators and the discriminators to align p, p_x, and p_y.
• Equivalence to Jensen-Shannon divergence among three joint distributions in the optimal-discriminator setting.
• Semi-supervised formulation combines conditional GAN objective with BiGAN/ALI objective to utilize paired and unpaired data.
• The model can sample from conditional distributions without requiring closed-form densities.

実験結果

リサーチクエスチョン

• RQ1 Δ-GAN は、数少ないペアサンプルだけで、二つのドメイン間の正確な半教師ありジョイント分布整合を達成できるか？
• RQ2 双方向生成器が収束して p_x と p_y が真の条件付き分布 p(x|y) および p(y|x) を再現するか？
• RQ3 画像-ラベル、画像-画像、属性ベースなどの様々なドメインペアタスクにおいて、Δ-GAN は関連手法（例：Triple GAN）とどのように比較されるか？
• RQ4 Δ-GAN は半教師付き分類、画像間翻訳、属性ベースの画像生成を含む幅広い応用に対して有効か？

主な発見

• Δ-GAN はドメインペア間でジョイント分布を整合させ、双方向マッピングを可能にする。
• このフレームワークは、画像分類、翻訳、属性条件付き生成などのタスクで半教師ありの能力を示す。
• 関連手法と比較して、Δ-GAN は三つのジョイント分布を整合させる点での利点を示し、非対称な目的関数を回避する。
• CIFAR-10、MNIST様翻訳タスク、CelebA、COCO にわたる実験は、代替手法と比較して競争力があるか、または優れた性能を示す。