[論文レビュー] HyperDomainNet: Universal Domain Adaptation for Generative Adversarial Networks

Aibek Alanov, В. В. Титов+1 more|arXiv (Cornell University)|Oct 17, 2022

Topic Modeling被引用数 14

ひとこと要約

HyperDomainNetは、StyleGAN2の生成器を微調整するためのコンactな6,000次元のドメインベクトルを提案する。全重み微調整と同等の性能を維持しながら、訓練可能パラメータを3,0００万個からたった6,000個に削減する。また、多様性を向上させるために新しい正則化損失を導入し、複数のドメインに適応可能なハイパーネット（HyperDomainNet）を採用することで、共有パラメータ化により未学習ドメインへの一般化を実現する。

ABSTRACT

Domain adaptation framework of GANs has achieved great progress in recent years as a main successful approach of training contemporary GANs in the case of very limited training data. In this work, we significantly improve this framework by proposing an extremely compact parameter space for fine-tuning the generator. We introduce a novel domain-modulation technique that allows to optimize only 6 thousand-dimensional vector instead of 30 million weights of StyleGAN2 to adapt to a target domain. We apply this parameterization to the state-of-art domain adaptation methods and show that it has almost the same expressiveness as the full parameter space. Additionally, we propose a new regularization loss that considerably enhances the diversity of the fine-tuned generator. Inspired by the reduction in the size of the optimizing parameter space we consider the problem of multi-domain adaptation of GANs, i.e. setting when the same model can adapt to several domains depending on the input query. We propose the HyperDomainNet that is a hypernetwork that predicts our parameterization given the target domain. We empirically confirm that it can successfully learn a number of domains at once and may even generalize to unseen domains. Source code can be found at https://github.com/MACderRu/HyperDomainNet

研究の動機と目的

• GANドメイン適応における訓練可能パラメータ数を削減しつつ、性能を損なわないこと。
• 少サンプルドメイン適応におけるモード崩壊を解消するため、新しい正則化損失を導入すること。
• ハイパーネットを用いて、1つの生成器を複数のドメインに同時に適応可能にする仕組みを提供すること。
• 複数ドメイン適応の場面において、学習時に見られなかったドメインに対しても一般化できること。
• データが限られる状況においても軽量かつスケーラブルなドメイン適応ソリューションを提供すること。

提案手法

• StyleGAN2の各畳み込み層に6,000次元のベクトルを組み込むドメインモodulation技術を導入し、ドメイン適応を実現する。
• StyleGAN-NADA や MindTheGAP といった最先端手法に適用し、全生成器微調整の代わりにこのドメインベクトルを採用する。
• 適応中にCLIPベースの画像類似度を維持することで多様性を向上させる、新しいドメイン内角度一貫性損失（$\mathcal{L}_{\text{indomain-angle}}$）を提案する。
• 入力ドメイン記述（テキストまたは画像）に基づいて6,000次元のドメインベクトルを予測するハイパーネットであるHyperDomainNetを設計する。
• CLIP埋め込みをドメイン監視として用い、データ拡張を活用することで、複数ドメインを同時に学習し、一般化を促進する。
• 固定ドメインを用いる訓練スキームと、CLIP埋め込みの凸包サンプリングを用いて未学習ドメインをシミュレートする2通りの訓練戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 6,000次元のコンパクトなベクトルが、全重み微調整と同等の品質でStyleGAN2のドメイン適応に置き換え可能か？
• RQ2 提案されたドメイン内角度一貫性損失は、微調整された生成器の多様性を有効に向上させるか？
• RQ3 1つのハイパーネット（HyperDomainNet）が、1つの生成器を同時に複数のドメインに適応できるか？
• RQ4 HyperDomainNetは、学習時に見られなかったドメインに対しても一般化可能か？
• RQ5 各ドメインごとに別々のモデルを訓練するのと比較して、提案手法はスケーラブルで効率的か？

主な発見

• 提案されたドメインモジュレーション技術は、全重み微調整と同等の生成品質を達成しながら、訓練可能パラメータ数を5,0００分の１に削減した。
• ドメイン内角度一貫性損失は、テキストベースおよびワンショット適応ベンチマークにおいて、定性的および定量的に多様性の向上を実証した。
• HyperDomainNetは20のドメインを同時に適応でき、各ドメインごとに別々のモデルを訓練した場合と同等の結果を得た。
• 200以上のドメインと拡張されたCLIP埋め込みで学習した場合、HyperDomainNetは未学習ドメインに対しても効果的に一般化し、妥当で多様なサンプルを生成した。
• 1つのハイパーネットを複数ドメインで共有することで、訓練時間とパラメータ数を削減し、効率的な多ドメイン適応を実現した。
• アブレーションスタディにより、提案された損失項が多ドメイン環境下でのHyperDomainNetの有効な訓練に不可欠であることが確認された。