[論文レビュー] One-Shot Generative Domain Adaptation

Ceyuan Yang, Yujun Shen+5 more|arXiv (Cornell University)|Nov 18, 2021

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 8

ひとこと要約

本稿では、1枚の参照画像のみを用いて事前学習されたGANを新しいドメインに転送する1ショット生成的ドメイン適応手法GenDAを提案する。元の生成器および判別器を固定し、軽量な属性適応モジュールと分類器を導入することで、合成品質と多様性を維持しつつ、ターゲット固有の属性を効果的に転送する。極度のデータ不足下でも、従来手法を上回る多様性と忠実度を達成する。

ABSTRACT

This work aims at transferring a Generative Adversarial Network (GAN) pre-trained on one image domain to a new domain referring to as few as just one target image. The main challenge is that, under limited supervision, it is extremely difficult to synthesize photo-realistic and highly diverse images, while acquiring representative characters of the target. Different from existing approaches that adopt the vanilla fine-tuning strategy, we import two lightweight modules to the generator and the discriminator respectively. Concretely, we introduce an attribute adaptor into the generator yet freeze its original parameters, through which it can reuse the prior knowledge to the most extent and hence maintain the synthesis quality and diversity. We then equip the well-learned discriminator backbone with an attribute classifier to ensure that the generator captures the appropriate characters from the reference. Furthermore, considering the poor diversity of the training data (i.e., as few as only one image), we propose to also constrain the diversity of the generative domain in the training process, alleviating the optimization difficulty. Our approach brings appealing results under various settings, substantially surpassing state-of-the-art alternatives, especially in terms of synthesis diversity. Noticeably, our method works well even with large domain gaps, and robustly converges within a few minutes for each experiment.

研究の動機と目的

• 1枚の参照画像でのみ、多様で高品質な画像を生成する課題に取り組むこと。
• 1ショット設定下でよく見られる多様性の崩壊（mode collapse）を克服すること。
• ソースドメインのGANが持つ豊富な事前知識を保持しつつ、ターゲット画像の最も代表的な属性のみを転送すること。
• 1つの参照サンプルでの訓練中に潜在空間の多様性を制約することで最適化の難易度を低減すること。

提案手法

• 元の生成器の重みを固定し、潜在空間から生成器へ接続する軽量な属性適応モジュールを導入し、事前知識を保持する。
• 事前学習済みの判別器のフリーズされたバックボーンに、軽量な属性分類器を追加し、生成器がターゲット固有の属性を捉えるように導く。
• 適応中は生成器および判別器の全ネットワークを固定し、合成品質と多様性を維持するために新しいモジュールのみを最適化する。
• 低データ条件下での最適化安定性を向上させるために、訓練中に潜在分布にトレントレーションを適用する。
• 2ストリーム訓練戦略を採用し、生成器はターゲットドメインに一致する画像を合成するのを学び、判別器はドメイン固有の属性に基づいて本物と偽物を区別する。
• FID、精度、再現率といった標準的な評価指標を用いて、複数のベンチマークで性能を検証する。

Figure 1: Diagram of one-shot generative domain adaptation. Left: The overall framework, where a GAN model pre-trained on the large-scale source data is transferred to the target domain with only one training sample . A lightweight attribute adaptor and attribute classifier are introduced to the fro

実験結果

リサーチクエスチョン

• RQ1 1枚の参照画像でのみ、多様で高品質な画像を生成できるように、事前学習済みGANを新しいドメインに効果的に適応できるか？
• RQ2 なぜ標準的なファインチューニング戦略は、1ショットドメイン適応において多様性を維持できないのか？
• RQ3 ソースドメインのGANから得られる事前知識をどう再利用すれば、ドメイン適応におけるデータ効率を向上させられるか？
• RQ4 潜在空間のトレントレーションは、最小限の監督下での訓練を安定化させる役割を果たすか？
• RQ5 軽量でモジュラーなコンponentsを用いて、GAN全体を再学習せずにターゲット画像の必須属性のみを転送できるか？

主な発見

• GenDAは1ショット生成的ドメイン適応において最先端の性能を達成し、FIDおよび精度・再現率指標の両方で、既存手法を顕著に上回る。
• 1枚の学習画像でのみでも、生成の多様性を高く維持しており、ファインチューニングされたGANでよく見られるモード崩壊を回避する。
• 1回の実験あたり数分で収束するため、最小限の監視下でも高い訓練効率を示す。
• 訓練中に潜在空間をトレントレートすることにより、最適化の難易度が低下し、サンプル品質が向上する。
• GenDAは、1枚の参照画像のみを用いて、人間の顔や教会の画像など、新しいドメインに事前学習済みのStyleGAN2モデルを適応させ、現実的で多様なサンプルを生成する。
• アブレーションスタディにより、元のGANの重みを固定し、属性適応モジュールと分類器のみを用いることで、完全なファインチューニングに比べて優れた性能が得られることを確認した。

Figure 2: Qualitative comparison on one-shot adaptation between FreezeD (Mo et al., 2020 ) , Cross-Domain (Ojha et al., 2021 ) , and our proposed GenDA. The first column shows the reference images. GenDA significantly outperforms the other competitors from the diversity perspective.