[論文レビュー] DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Networks (with Supplementary Materials)

Shuang Ma, Jianlong Fu+2 more|arXiv (Cornell University)|Feb 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 11

ひとこと要約

DA-GANは、ペアでない画像ドメイン間のインスタンスレベルの対応関係を学習するために、深層アテンションジェネレータ敵対ネットワークを活用する、画期的な教師なし画像変換フレームワークを提案する。アテンション機構をGANアーキテクチャに統合し、一貫性、対称性、マルチ敵対的項を含む複合損失を採用することで、DA-GANはポーズモーフィング、オブジェクト構成、データ拡張の分野で優れた性能を発揮し、モード崩壊を顕著に低減し、高精細で意味的に整合性のある画像を生成する。

ABSTRACT

Unsupervised image translation, which aims in translating two independent sets of images, is challenging in discovering the correct correspondences without paired data. Existing works build upon Generative Adversarial Network (GAN) such that the distribution of the translated images are indistinguishable from the distribution of the target set. However, such set-level constraints cannot learn the instance-level correspondences (e.g. aligned semantic parts in object configuration task). This limitation often results in false positives (e.g. geometric or semantic artifacts), and further leads to mode collapse problem. To address the above issues, we propose a novel framework for instance-level image translation by Deep Attention GAN (DA-GAN). Such a design enables DA-GAN to decompose the task of translating samples from two sets into translating instances in a highly-structured latent space. Specifically, we jointly learn a deep attention encoder, and the instancelevel correspondences could be consequently discovered through attending on the learned instance pairs. Therefore, the constraints could be exploited on both set-level and instance-level. Comparisons against several state-ofthe- arts demonstrate the superiority of our approach, and the broad application capability, e.g, pose morphing, data augmentation, etc., pushes the margin of domain translation problem.

研究の動機と目的

• 既存の教師なし画像変換手法がセットレベルの分布マッチングに依存するという制限を解消すること。これにより、誤検出やモード崩壊が生じる。
• ペアデータが存在しない状況でも、意味的パーツやオブジェクトジオメトリなどの意味的なインスタンスレベルの対応関係を発見すること。
• 複合損失関数を用いて、インスタンスレベルおよびセットレベルの制約を画像変換において強化すること。
• ポーズモーフィング、オブジェクト変形、データ拡張などのタスクにおける視覚的精細度と意味的整合性を向上させること。

提案手法

• 潜在空間における意味的パーツに注目することで、GANのジェネレータにアテンション機構を統合し、インスタンスレベルの対応関係を学習する。
• 一貫性損失（潜在空間における意味的整合性を保証）、対称性損失（一対一マッピングを強制）、マルチ敵対的損失（モード崩壊を防止）を組み合わせた複合損失を提案する。
• ソース画像とターゲット画像を構造的な潜在空間に投影するためのディープアテンションエンコーダ（DAE）を採用し、インスタンスレベルの整合性を学習する。
• マルチ敵対的訓練を用いて、ターゲットドメインのすべてのモードに確率質量を均等に分配し、モード崩壊を緩和する。
• 特徴抽出のためのVGG19ネットワークを微調整し、評価指標としてインセプションスコアと欠落モード数を用いる。
• テキストから画像への変換、ポーズモーフィング、オブジェクト構成、データ拡張など、多様なタスクにフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 教師なし画像変換は、ペアデータが存在しない状況でも意味的インスタンスレベルの対応関係を学習できるか？
• RQ2 アテンション機構は、GANに効果的に統合可能か？ これにより、画像変換における意味的整合性が向上するか？
• RQ3 一貫性、対称性、マルチ敵対的項を組み合わせた複合損失は、モード崩壊を低減し、変換品質を向上させられるか？
• RQ4 幾何学的・意味的整合性が求められるタスクにおいて、DA-GANは最先端の手法をどれほど上回るか？
• RQ5 DA-GANは、ポーズモーフィングやデータ拡張といった多様な応用分野に一般化可能か？

主な発見

• DA-GANは、VAT（10.3）やCycleGAN（11.4）と比較して顕著に高いインセプションスコア（20.9）を達成しており、画像の質と多様性に優れていることが示された。
• DA-GANでは欠落モード数が著しく減少し、ターゲットドメインのモードを効果的にカバーしていることが実証された。
• オブジェクト構成タスクにおいて、DA-GANはCUB-200-2011でトップ1正答率88.9%を達成し、VAT（42.1%）やCycleGAN（62.1%）を上回った。
• 特にジオメトリや細部の属性転送において、CycleGAN や VAT と比較して、DA-GANが生成する画像はよりシャープでアーチファクトが少ない。
• 1万枚のDA-GAN生成鳥画像を用いたデータ拡張により、細粒度分類の正答率が79.0%から81.6%に向上した。
• DA-GANは、人間の顔をアニメーションスタイルに変換する際にも、アイデンティティを保持することができ、VATがドメイン不一致やアーチファクトを含む結果を生成するのとは対照的に優れた性能を発揮した。