Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] Domain Re-Modulation for Few-Shot Generative Domain Adaptation

Yi Wu, Ziqiang Li|arXiv (Cornell University)|Feb 6, 2023
Domain Adaptation and Few-Shot Learning被引用数 6
ひとこと要約

本稿では、少量の画像で高精細で多様性に富み、ドメイン間で一貫性のある画像生成を可能にする、事前学習済みのソース生成器を凍結した新しい生成器構造、ドメイン再調整（DoRM）を提案する。StyleGANのスタイル空間における線形結合可能性を活用することで、DoRMはマルチドメインおよびハイブリッドドメイン生成をサポートし、類似度ベースの構造損失によりドメイン間の一貫性を向上させることで、10ショットGDAにおいて最先端の性能を達成する。

ABSTRACT

In this study, we delve into the task of few-shot Generative Domain Adaptation (GDA), which involves transferring a pre-trained generator from one domain to a new domain using only a few reference images. Inspired by the way human brains acquire knowledge in new domains, we present an innovative generator structure called Domain Re-Modulation (DoRM). DoRM not only meets the criteria of high quality, large synthesis diversity, and cross-domain consistency, which were achieved by previous research in GDA, but also incorporates memory and domain association, akin to how human brains operate. Specifically, DoRM freezes the source generator and introduces new mapping and affine modules (M&A modules) to capture the attributes of the target domain during GDA. This process resembles the formation of new synapses in human brains. Consequently, a linearly combinable domain shift occurs in the style space. By incorporating multiple new M&A modules, the generator gains the capability to perform high-fidelity multi-domain and hybrid-domain generation. Moreover, to maintain cross-domain consistency more effectively, we introduce a similarity-based structure loss. This loss aligns the auto-correlation map of the target image with its corresponding auto-correlation map of the source image during training. Through extensive experiments, we demonstrate the superior performance of our DoRM and similarity-based structure loss in few-shot GDA, both quantitatively and qualitatively. The code will be available at https://github.com/wuyi2020/DoRM.

研究の動機と目的

  • 既存の少量の画像で適応するGAN手法が生成器全体を微調整するため、マルチドメインおよびハイブリッドドメイン生成が制限されているという限界を解消すること。
  • わずかな参照画像のみで、新しいドメインにおける効率的で高精細な画像生成を可能にすること。
  • 人間の脳の学習メカニズムを模倣するように、生成器に記憶機能とドメイン関連性を付与すること。
  • 類似度ベースの構造損失を用いて、ソース画像と適応されたターゲット画像間のドメイン間一貫性を向上させること。

提案手法

  • 事前学習済みのソース生成器を凍結したまま、エンドツーエンドで学習可能な新しいマッピングおよびアフィンモジュール（M&A）を導入し、ドメイン固有のスタイル変調を可能にする。
  • M&Aモジュールは、スタイル空間における線形結合可能なドメインシフトを誘導するように学習され、複数のモジュールを同時に活性化することでマルチドメインおよびハイブリッドドメイン生成を実現する。
  • ソース画像とターゲット画像の間の自己相関マップを一致させる類似度ベースの構造損失 $L_{ss}$ を提案し、ドメイン間の一貫性を強化する。
  • 損失の監視のために、CLIPの画像エンコーダーを用いて中間トークンを抽出し、自己相関マップを計算する。
  • 生成器構造により、各ターゲットドメインに対してM&Aモジュールを選択的に活性化でき、効率的なストレージと推論を実現する。
  • 本手法は2D（StyleGAN2）および3D（EG3D）のGANの両方で評価され、アーキテクチャを越えた一般化を示した。
Figure 1: Left : Framework of our DoRM. Given a generator of StyleGAN2 structure pre-trained on a source domain (components in the white dotted blocks), we can realize multi-domain generation and hybrid-domain generation by activating the corresponding trained M&A modules (components in the colourfu
Figure 1: Left : Framework of our DoRM. Given a generator of StyleGAN2 structure pre-trained on a source domain (components in the white dotted blocks), we can realize multi-domain generation and hybrid-domain generation by activating the corresponding trained M&A modules (components in the colourfu

実験結果

リサーチクエスチョン

  • RQ1少量の画像で適応するGAN手法は、マルチドメインおよびハイブリッドドメイン生成を可能にしつつ、高精細で多様性に富み、一貫性のある画像生成を達成できるか？
  • RQ2生成器は、以前に学習したドメインの知識を保持し、それらを統合して新しいハイブリッドドメインの生成を可能にするか？
  • RQ3学習可能なモジュラー適応機構は、全生成器の微調整に比べ、効率性、一貫性、一般化性能において優れているか？
  • RQ4類似度ベースの構造損失は、少量の画像で適応するGANの文脈で、ドメイン間の一致をどの程度向上させるか？
  • RQ5提案手法は、3D GANを含むさまざまなGANアーキテクチャに一般化可能か？

主な発見

  • 10ショットGDAにおいて、DoRMはスケッチドメインでCLIP特徴量のコサイン類似度0.9492、ベビーズドメインで0.9780を達成し、すべてのベースラインを上回った。
  • ハイブリッドドメイン生成（例：スケッチ・ベビーズ）において、DoRMはCLIP類似度0.8809/0.7271を達成し、Domain Expansion や DynaGAN などの手法を著しく上回った。
  • DoRMは優れたドメイン間一貫性を示し、多様なターゲットドメインにおいても、ソース画像と適応された画像の間でアイデンティティおよびポーズの一致を維持した。
  • 本手法により、複数の適応ドメイン間での滑らかで意味的に意味のあるスタイル遷移が可能となり、潜在空間の補間と編集が円滑に実現された。
  • EG3Dにおける1ショットGDAでも、DoRMはスケッチドメインで高品質な画像を生成し、ソースのアイデンティティを保持した。
  • 定性的な結果から、DoRMが標準的およびハイブリッドドメインの両方で現実的で多様性に富み、一貫性のある画像を生成できることを確認した。ハイブリッド生成においても、失敗事例は観察されなかった。
Figure 2: Our framework ( DoRM ) is based on StyleGAN2. In the Synthesis network $g(\cdot)$ (gray blocks), the source affines $A_{s}$ and the source mapping $f_{s}$ constitute the pre-trained source generator on a source domain. To achieve generative domain Adaptation, we incorporate a new target ma
Figure 2: Our framework ( DoRM ) is based on StyleGAN2. In the Synthesis network $g(\cdot)$ (gray blocks), the source affines $A_{s}$ and the source mapping $f_{s}$ constitute the pre-trained source generator on a source domain. To achieve generative domain Adaptation, we incorporate a new target ma

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。