[論文レビュー] Learning to Discover Cross-Domain Relations with Generative Adversarial Networks

Taek‐Soo Kim, Moonsu Cha+3 more|arXiv (Cornell University)|Mar 15, 2017

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 731

ひとこと要約

DiscoGAN は、ペアデータなしでクロスドメインの関係を学習する。2つの GAN を同時に訓練して双方のドメイン間に写像を作成することで、明示的なペアラベルなしで双方向の画像翻訳を実現する。モード崩壊を低減し、スタイルを転送しつつ重要な属性を保持する双射写像を発見する。

ABSTRACT

While humans easily recognize relations between data from different domains without any supervision, learning to automatically discover them is in general very challenging and needs many ground-truth pairs that illustrate the relations. To avoid costly pairing, we address the task of discovering cross-domain relations given unpaired data. We propose a method based on generative adversarial networks that learns to discover relations between different domains (DiscoGAN). Using the discovered relations, our proposed network successfully transfers style from one domain to another while preserving key attributes such as orientation and face identity. Source code for official implementation is publicly available https://github.com/SKTBrain/DiscoGAN

研究の動機と目的

• クロスドメインの関係を、コストのかかるペアデータなしに見つける必要性を動機づける。
• 2つのラベルのない画像ドメイン間の関係を発見するGANベースのアプローチを提案する。
• ドメイン間の一対一の対応を保証する双方向マッピングを可能にする。
• 学習された関係がスタイルを転送しつつ同一性/属性を保持することを実証する。

提案手法

• クロスドメインの関係を、二つのドメイン間の全射同型写像として定義する。
• 各ドメインがもう一方へ、さらに戻るように2つのGANを結合し、再構成損失を課す。
• 各ドメインに対して2つの再構成損失を使用して、双射性を促進する。
• 2つの識別子を同時に訓練して、それぞれのドメインで現実性を判断させる。
• GANと再構成項を両方向で含む結合ジェネレーター損失を最適化する。
• 64x64x3 の出力を持つエンコーダ-デコーダ型ジェネレーターを適用し、標準的なGAN訓練手順を用いる。

実験結果

リサーチクエスチョン

• RQ1 GAN ベースのフレームワークは、ペアデータなしから意味のあるクロスドメインの関係を発見できるか？
• RQ2 双方向再構成を課すことでモード崩壊を防ぎ、双射写像を得られるか？
• RQ3 学習された関係は多様なドメイン間で忠実な画像-画像翻訳を可能にするか？
• RQ4 翻訳はターゲット属性を変えつつ、非ターゲット属性（アイデンティティ、向き、背景）を保持するか？

主な発見

• DiscoGAN は、ペアデータなしでドメイン間の双射写像を学習する。
• 標準 GAN や 再構成のみを用いた GAN に比べてモード崩壊を低減する。
• DiscoGAN は顔・車・椅子・エッジ・写真など、ドメイン間で双方向翻訳を達成する。
• 翻訳はスタイルを転送しつつ、主要な属性を保持することを、複数の実ドメインタスクを横断して示す。
• 繰り返し翻訳でも一貫性が保たれ、クロスドメイン関係が安定していることを示す。
• 定性的な結果は、属性保持を伴う意味のあるクロスドメインのスタイル転送を示す。