[論文レビュー] Mind the Gap: Domain Gap Control for Single Shot Domain Adaptation for Generative Adversarial Networks

Peihao Zhu, Rameen Abdal+2 more|arXiv (Cornell University)|Oct 15, 2021

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 16

ひとこと要約

本稿では、1枚の参照画像からドメインBのCLIP埋め込みベクトルをドメインAの意味的類似画像にマッピングすることで、ドメインギャップをモデル化し、II2Sの逆投影と新たな正則化項を用いてアイデンティティとコンテンツを保持しながら、細分化された属性制御を可能にする、GAN向けの新規ワンショットドメイン適応手法を提案する。これにより、視覚的品質が向上し、過学習が軽減される。

ABSTRACT

We present a new method for one shot domain adaptation. The input to our method is trained GAN that can produce images in domain A and a single reference image I_B from domain B. The proposed algorithm can translate any output of the trained GAN from domain A to domain B. There are two main advantages of our method compared to the current state of the art: First, our solution achieves higher visual quality, e.g. by noticeably reducing overfitting. Second, our solution allows for more degrees of freedom to control the domain gap, i.e. what aspects of image I_B are used to define the domain B. Technically, we realize the new method by building on a pre-trained StyleGAN generator as GAN and a pre-trained CLIP model for representing the domain gap. We propose several new regularizers for controlling the domain gap to optimize the weights of the pre-trained StyleGAN generator to output images in domain B instead of domain A. The regularizers prevent the optimization from taking on too many attributes of the single reference image. Our results show significant visual improvements over the state of the art as well as multiple applications that highlight improved control.

研究の動機と目的

• 既存手法が参照画像を過剰に模倣するため、ワンショットドメイン適応における過学習とモード崩壊を解消すること。
• 1枚の参照画像を用いてドメインAからドメインBに画像を変換する際の視覚的忠実性とアイデンティティ保持を向上させること。
• ドメインギャップをより正確にモデル化することで、どの属性がドメイン間で転送されるかを細かく制御できること。
• 潜在空間構造を保持することで、ターゲットドメインで既存の画像編集フレームワーク（例：StyleFlow）との互換性を維持すること。
• 1枚のGPUで数分で実行可能な計算効率の高い手法を開発し、実用的応用を可能とすること。

提案手法

• ドメインAのベースジェネレータとして事前学習済みのStyleGAN2ジェネレータを用い、ドメインBの画像を生成するよう微調整する。
• CLIPを用いてドメインBの参照画像とそれに対応するドメインAの画像を共通の意味的空間に埋め込む。
• ドメインAの平均からではなく、ドメインBの参照画像からその意味的類似画像へのベクトルとしてドメインギャップをモデル化することで、過学習を軽減する。
• II2Sの逆投影を用いてドメインBの参照画像をドメインAに再構築し、ドメインギャップをより正確に推定できる高品質な類似画像を生成する。
• 複数の新規正則化項（$L_{\text{ref\_clip}}$、$L_{\text{clip\_within}}$）を導入し、最適化中に参照画像の属性がどの程度採用されるかを制御する。
• 洗練されたレイヤー選択戦略とスタイルミキシングを用いて、生成画像の多様性と現実性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ドメインAの平均からではなく、参照画像からそのドメインA内類似画像へのベクトルとしてドメインギャップを再定義することで、ワンショットドメイン適応における過学習を軽減できるか？
• RQ2 1枚の参照画像のみを用いて、ドメインAの画像のアイデンティティとコンテンツをどの程度保持しながら、ドメインBへのスタイル転送が可能か？
• RQ3 単純な平均ベースのベクトルと比較して、II2Sの逆投影を用いることで、ドメインギャップ推定の品質と意味的整合性がどの程度向上するか？
• RQ4 編集モデルの再トレーニングなしに、ターゲットドメインでポーズ、照明、表情などの属性転送を細かく制御できるか？
• RQ5 新規正則化項が1ショットGAN適応における視覚的品質とモード崩壊に与える影響は何か？

主な発見

• 視覚的品質において、StyleGAN-NADAより73%、少数ショットベースラインより77%のユーザー選好を達成し、顕著な向上が確認された。
• 80%のユーザーが、ドメインAの元画像との類似性を保つ点で本手法を好んだことから、過学習の軽減とより良いアイデンティティ保持が裏付けられた。
• 91%のユーザーが、元画像との類似性を維持する点で本手法を優れていると評価し、競合手法と比較してモード崩壊が顕著に軽減されたことが示された。
• アブレーションスタディの結果、II2Sによる類似画像生成と$L_{\text{ref\_clip}}$、$L_{\text{clip\_within}}$正則化項の適用が、再構成とスタイル転送の品質を顕著に向上させた。
• StyleFlowを用いたドメインBにおける画像編集は完全に互換性があり、適応後も意味的属性と潜在空間構造が保持されていることが確認された。
• 本手法は1枚のGPUで数分で実行可能であり、ワンショットドメイン適応の複雑さを考慮しても、実世界応用に実用的であることが示された。