[論文レビュー] Augmented CycleGAN: Learning Many-to-Many Mappings from Unpaired Data

Amjad Almahairi, Sai Rajeswar+3 more|arXiv (Cornell University)|Feb 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 315

ひとこと要約

Augmented CycleGAN は未ペアデータから latent コードでドメインを拡張し拡張空間でサイクル整合性を課することにより、多対多のクロスドメイン写像を学習し、入力ごとに多様な出力を可能にします。 deterministic mappings を用いる従来の cycle に比べて複数のタスクで上回り、属性-顔翻訳を用いた半教師あり学習をサポートします。

ABSTRACT

Learning inter-domain mappings from unpaired data can improve performance in structured prediction tasks, such as image segmentation, by reducing the need for paired data. CycleGAN was recently proposed for this problem, but critically assumes the underlying inter-domain mapping is approximately deterministic and one-to-one. This assumption renders the model ineffective for tasks requiring flexible, many-to-many mappings. We propose a new model, called Augmented CycleGAN, which learns many-to-many mappings between domains. We examine Augmented CycleGAN qualitatively and quantitatively on several image datasets.

研究の動機と目的

• CycleGAN のクロスドメイン翻訳における決定論的な一対一マッピングの制限に対処する。
• auxiliary latent spaces を介して多対多のマッピングをモデル化する Augmented CycleGAN を提案する。
• varied domains にわたる given input の多様な出力生成を実証する。
• substantially different なドメイン間および paired data を用いた半教師あり学習への適用性を示す。

提案手法

• G_{A→B}(a,z_b) と G_{B→A}(b,z_a) が拡張空間 A×Z_b および B×Z_a で作用するよう導入する。
• エンコーダ E_A と E_B を用いて (A,B) ペアを潜在コード z_a と z_b に写像する。
• 対抗的損失を適用して生成ペアを一致させ、(B, Z_a) と (A, Z_b) の事前分布を別々に整合させる（周辺マッチング）。
• 拡張空間上でサイクル整合性を再構成 a′ および z_b′ を通じて課し、潜在コードを介した情報保持を保証する。
• 情報量 I(b,z_b|a) を最大化するように二-cycle 損失を組み込む：(a,z_b) から a を再構成し、(a,z_b) から z_b を再構成する。
• 任意で、対応データ (a,b) が利用可能な semi-supervised 学習に拡張して G_{A→B} および G_{B→A} を監督する。

実験結果

リサーチクエスチョン

• RQ1 latent コードでドメインを拡張することにより多対多のクロスドメイン翻訳は未ペアデータから学習可能か。
• RQ2 拡張されたサイクル整合性損失は情報を保持し、 given input に対する多様な出力を可能にするか。
• RQ3 異なるドメインペア（edges→photos、faces→attributes）に対して Augmented CycleGAN は CycleGAN や確率的バリアントと比較してどう機能するか。
• RQ4 限られた対向データでモデルを semi-supervised 設定で効果的に訓練できるか。
• RQ5 多様性と安定性を改善する設計選択（例：条件化正規化）は確率的マッピングにどのような影響を与えるか。

主な発見

Model	Paired %	Avg L1 / Reconstruction Error	MSE	P@10 / NDCG@10 (s=1%)	P@10 / NDCG@10 (s=10%)
CycleGAN	0	0.1837	-	-	-
StochCGAN	0	0.0794	-	-	-
Δ-GAN	10	-	0.0102	40.97 / 50.74	62.13 / 73.56
AugCGAN	0	0.0698	0.0079	64.38 / 80.59	68.83 / 85.51
AugCGAN	10	0.0562	0.0052	-	-

• AugCGAN は latent コード z_b と z_a をサンプリングすることにより、与えられた入力に対して多様な出力を生成する。
• edges→photos において、AugCGAN は CycleGAN および Stochastic CycleGAN より再構成誤差（L1）が低くなることが多く、特にペアデータが 10% の場合に顕著。
• AugCGAN は comparable アーキテクチャで Δ-GAN を超えるような靴から edges を予測する MSE を達成し、 supervision によってさらに改善する。
• 定性的結果は、AugCGAN が生成画像間の多様性を維持し、Stochastic CycleGAN で見られるモード崩壊を回避することを示す。
• CelebA 属性→顔タスクにおいて、AugCGAN は semi-supervised 設定で baseline と比較して精度および nDCG が競争力がある、または優れている。
• 潜在条件付けを通じて現実的な外観を保持しつつ意味のある変化を可能にするため、データセット間での多様性指標でベースラインを上回る。