[論文レビュー] SDIT: Scalable and Diverse Cross-domain Image Translation

Yaxing Wang, Abel González-García+2 more|arXiv (Cornell University)|Aug 19, 2019

Generative Adversarial Networks and Image Synthesis参考文献 44被引用数 6

ひとこと要約

SDITは、多様性をもたらすための条件付きインスタンス正規化（CIN）とスケーラビリティを実現するドメイン条件付き符号化を組み合わせることで、1つの生成器でスケーラブルかつ多様なクロスドメイン画像変換を実現する統合的生成モデルを提案する。これにより、対応データが不要な状態で、顔、色、シーン変換タスクにおいて、マルチジェネレータベースラインを上回る多様性とスケーラビリティを達成し、最先端の性能を実現した。

ABSTRACT

Recently, image-to-image translation research has witnessed remarkable progress. Although current approaches successfully generate diverse outputs or perform scalable image transfer, these properties have not been combined into a single method. To address this limitation, we propose SDIT: Scalable and Diverse image-to-image translation. These properties are combined into a single generator. The diversity is determined by a latent variable which is randomly sampled from a normal distribution. The scalability is obtained by conditioning the network on the domain attributes. Additionally, we also exploit an attention mechanism that permits the generator to focus on the domain-specific attribute. We empirically demonstrate the performance of the proposed method on face mapping and other datasets beyond faces.

研究の動機と目的

• 既存のペairedでない画像間変換手法が、多様性やスケーラビリティに欠けるという制限を解決すること。
• ペアドデータを必要とせず、1つのコンactなディープラーニングアーキテクチャでスケーラビリティと多様性を統合すること。
• 1つのモデルが複数のドメインにわたり多様な出力を生成しつつも、高い翻訳品質を維持できること。
• 潜在空間におけるアテンションメカニズムを用いてドメイン固有の特徴の局在化を改善すること。
• 顔変換を越えて、写真からアートスタイルへの変換のような複雑なシーンにも一般化できることを示すこと。

提案手法

• 生成器は、ランダムな潜在コードを注入するために条件付きインスタンス正規化（CIN）層を用い、1つのモデルから多様な出力を可能にする。
• スケーラビリティは、エンコーダーをターゲットドメインラベルで条件づけることで達成され、1つのジェネレータが複数のドメインを処理できる。
• アテンションメカニズムを適用してドメイン固有の画像領域に注目することで、特徴の整合性と翻訳の正確性を向上させる。
• コンテンツの保存とリアリズムの向上を目的に、サイクル整合性とアイデンティティ損失を用いたGANフレームワークで学習を行う。
• 潜在空間をコンテンツとスタイルの成分に分離し、スタイルはガウス分布に従う潜在コードで制御する。
• アーキテクチャはエンドツーエンド微分可能であり、ペアドデータなしで未教師学習により、未対応画像コレクションを用いて学習される。

実験結果

リサーチクエスチョン

• RQ1 1つのディープジェネレーティブモデルが、クロスドメイン画像変換において同時にスケーラビリティと多様性を達成できるか？
• RQ2 未教師学習・未対応画像変換設定において、多様性を効果的に制御できるか？
• RQ3 ドメイン条件付きの条件づけが、性能の劣化を伴わずに1つのジェネレータが複数のドメインを処理できるか？
• RQ4 アテンションベースの特徴モードレーションは、翻訳におけるドメイン固有の属性の局在化を改善するか？
• RQ5 提案手法は、多様なデータセットにおいて、定量的・定性的にマルチジェネレータベースラインを上回るか？

主な発見

• カラー画像データセットでは、SDITが平均LPIPS 0.612を達成し、CycleGAN（0.592）を上回り、MUNIT（0.608）と同等の性能を示したが、1つのジェネレータのみを用いた。
• アート作品データセットでは、SDITが平均LPIPS 0.828を達成し、StarGAN（0.678）を上回り、実画像の品質（0.869）に近づいた。
• カラー画像データセットでは、SDITが逆分類精度97.1％を達成し、MUNIT（97.2％）と同等であり、StarGAN（95.3％）やCycleGAN（93.5％）を大きく上回った。
• 同じ入力に対して、1つのジェネレータを用いて複数のドメイン（例：黄色、緑、青の靴の異なるトーン）で多様な出力を生成できることを、定性的な結果で示した。
• アテンション機構により、ドメイン固有の領域に注目することで翻訳品質が向上し、定性的な比較とアブレーションスタディで裏付けられた。
• 複雑なシーン変換（例：写真からセザンヌスタイルへの変換）においても、SDITは強力な性能を維持し、平均分類精度65.1％、LPIPS 0.828を達成し、StarGANを上回り、MUNITと同等の性能を1つのモデルで達成した。