[論文レビュー] Twin-GAN -- Unpaired Cross-Domain Image Translation with Weight-Sharing GANs

Jerry Li|arXiv (Cornell University)|Aug 26, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 15

ひとこと要約

Twin-GANは、重み共有の生成器および識別器を用いた、ペairedデータが不要な新しい非ペアドドメイン間画像変換フレームワークを提案する。本手法は、サイクル整合性、セマンティック整合性、スキップ接続付きU-Netアーキテクチャを組み合わせることで、CycleGAN、UNIT、MUNITを凌駕する最先端の性能を達成し、特徴の整合性を向上させつつアーチファクトを低減する。

ABSTRACT

We present a framework for translating unlabeled images from one domain into analog images in another domain. We employ a progressively growing skip-connected encoder-generator structure and train it with a GAN loss for realistic output, a cycle consistency loss for maintaining same-domain translation identity, and a semantic consistency loss that encourages the network to keep the input semantic features in the output. We apply our framework on the task of translating face images, and show that it is capable of learning semantic mappings for face images with no supervised one-to-one image mapping.

研究の動機と目的

• 既存の非ペアド画像変換手法が制限的な共有潜在空間の仮定に依存するという限界を是正すること。
• ペアドトレーニングデータが不要な状況下でも、人間の顔やアニメ・ネコの顔など、ドメイン間で現実的かつアイデンティティを保持した画像変換を可能にすること。
• 生成器にセマンティック整合性損失とスキップ接続を導入することで、セマンティック特徴の保持を向上させ、アーチファクトを低減すること。
• 共有エンコーダーを用いることで、非ペアドデータから意味的なドメイン間対応関係を学習可能であることを示すこと。
• モード崩壊を回避し、構造的忠実性を維持する、制御可能かつ安定したドメイン間画像変換フレームワークを提供すること。

提案手法

• ドメイン間で重みを共有する二重生成器・識別器アーキテクチャを採用し、パrameter効率性とドメイン不変性を強制する。
• 空間的およびセマンティック詳細を保存するため、段階的に成長するスキップ接続付きU-Netベースのエンコーダー・ジェネレータ構造を採用する。
• 画像をドメインXからYに変換し、再びXに戻すことで元の入力を回復させるよう保証するため、サイクル整合性損失を適用する。
• 入力のセマンティック特徴を変換出力に保持するよう促すセマンティック整合性損失を導入する。
• 訓練安定性と収束速度の向上を図るため、DRAGAN（多様性に基づく相対的GAN）を用いたGAN損失でモデルを訓練する。
• コンテンツとスタイルを分離するため、適応的統計を伴う特徴量ごとのインスタンス正規化を用いるが、細粒度のスタイル属性に対する制御が限られるため、スタイル埋め込みをオプションとする。

実験結果

リサーチクエスチョン

• RQ1 重み共有GANフレームワークは、ペアドデータが不要な状況下でも高精細でアイデンティティを保持した画像変換を達成できるか？
• RQ2 サイクル整合性損失とセマンティック整合性損失の組み合わせが、非ペアド画像変換における特徴の整合性向上とアーチファクト低減に寄与するか？
• RQ3 U-Netアーキテクチャにスキップ接続を組み込むことで、局所的なセマンティック対応関係の保持にどのような影響を与えるか？
• RQ4 共有エンコーダーを用いることで、非ペアドデータから意味的なドメイン間セマンティック埋め込みを学習可能か？
• RQ5 本モデルは、人間の顔からネコの顔、あるいはゲーム風から現実世界の画像など、顕著に異なるドメインへも一般化可能か？

主な発見

• CelebAデータセットにおいて、Twin-GANはCycleGAN、UNIT、MUNITを上回り、すべての損失とUNetを用いた場合のスライスド・ワーシャルシュタインスコアは14.84であったのに対し、セマンティック整合性損失なしでは18.38であった。
• アブレーションスタディの結果、サイクル損失を削除するとスライスド・ワーサルシュタインスコアが38.29に低下し、アイデンティティマッピングの維持においてその重要性が示された。
• セマンティック整合性損失の導入により性能が顕著に向上し、スライスド・ワーサルシュタインスコアはセマンティック損失なしの18.38から、セマンティック損失ありの14.84に低下した。
• U-Netアーキテクチャにより、スキップ接続のないモデルで一般的に見られた鏡像顔の方向のアーチファクトが低減されたことが、人間からネコへの変換における定性的な結果で示された。
• モデルは、髪型、顔の向き、服などの意味的なドメイン間対応関係を効果的に学習しており、潜在空間における最近傍検索によってその有効性が裏付けられた。
• 顔変換において優れた性能を発揮したが、Minecraftから実際の街並みの画像など、顕著に異なるドメインでは、低解像度であってもモード崩壊を示し、3次元的推論力と視点一般化能力に限界があることが判明した。