[論文レビュー] Generalized One-shot Domain Adaptation of Generative Adversarial Networks

Zicheng Zhang, Yinglu Liu+4 more|arXiv (Cornell University)|Sep 8, 2022

Generative Adversarial Networks and Image Synthesis被引用数 11

ひとこと要約

本稿では、GANにおける一般化されたワンショットドメイン適応のための新規フレームワークを提案する。参照画像とそのバイナリマスクを用いて、同時にスタイル転送とエンティティ転送を可能にする。内部分布の整合性を図るためにスライス Wasserstein 距離を活用し、多様体の一貫性を保つために変分ラプラシアン正則化を導入することで、高精細な合成が実現され、ドメイン間の対応関係が向上し、画像操作の制御性も向上する。

ABSTRACT

The adaptation of a Generative Adversarial Network (GAN) aims to transfer a pre-trained GAN to a target domain with limited training data. In this paper, we focus on the one-shot case, which is more challenging and rarely explored in previous works. We consider that the adaptation from a source domain to a target domain can be decoupled into two parts: the transfer of global style like texture and color, and the emergence of new entities that do not belong to the source domain. While previous works mainly focus on style transfer, we propose a novel and concise framework to address the extit{generalized one-shot adaptation} task for both style and entity transfer, in which a reference image and its binary entity mask are provided. Our core idea is to constrain the gap between the internal distributions of the reference and syntheses by sliced Wasserstein distance. To better achieve it, style fixation is used at first to roughly obtain the exemplary style, and an auxiliary network is introduced to the generator to disentangle entity and style transfer. Besides, to realize cross-domain correspondence, we propose the variational Laplacian regularization to constrain the smoothness of the adapted generator. Both quantitative and qualitative experiments demonstrate the effectiveness of our method in various scenarios. Code is available at \url{https://github.com/zhangzc21/Generalized-One-shot-GAN-adaptation}.

研究の動機と目的

• 従来のワンショット GAN 適応手法がスタイル転送に限定されており、エンティティ転送を無視するという限界を解消すること。
• バイナリエンティティマスクを組み込むことで、ターゲットドメインをより明確に定義する一般化ワンショット GAN 適応タスクを定式化すること。
• 1枚の参照画像から、グローバルなスタイル（色・テクスチャ）と特定のエンティティ（例：帽子・アクセサリー）を同時に転送可能にする。
• 適応中にコンテンツの歪みを防ぐために、ソース生成多様体の幾何構造を維持すること。
• 適応された生成器を用いて、セマンティック編集、スタイル転送、エンティティ削除などの柔軟な画像操作タスクをサポートすること。

提案手法

• 生成器を、スタイル化された画像生成のメインブランチと、バイナリマスクを用いたエンティティ固有の生成の補助ブランチに分離する。
• 潜在空間変換によるスタイル固定を適用し、すべての生成画像を例示画像のスタイルに束縛する。
• 参照画像と生成画像の内部特徴分布の間のスライス Wasserstein 距離を最小化することで、スタイルおよびエンティティ表現の整合性を図る。
• 生成器の更新を滑らかにし、ソース多様体の幾何構造を保持するため、変分ラプラシアン正則化を導入する。
• 再構成損失に加え、スタイルおよびエンティティ固有の損失を組み合わせることで、訓練の安定化と忠実度の向上を図る。
• 潜在コードの操作により、適応された生成器を、セマンティック編集やエンティティ操作などの後続タスクに活用する。

実験結果

リサーチクエスチョン

• RQ1 ワンショット設定において、1枚の参照画像とマスクのみで、スタイルと新しいエンティティを効果的に転送できる GAN 適応フレームワークは存在するか？
• RQ2 バイナリエンティティマスクを組み込むことで、スタイルのみのアプローチと比較して、ドメイン適応の正確性と柔軟性がどのように向上するか？
• RQ3 内部特徴分布間のスライス Wasserstein 距離が、スタイルおよびエンティティ成分の両方の分布整合性をどの程度向上させるか？
• RQ4 変分ラプラシアン正則化は、適応中にソース多様体の構造を効果的に保持し、コンテンツの歪みを防止できるか？
• RQ5 適応された生成器は、高精細を維持したまま、セマンティック編集やエンティティ削除といった高度な画像操作タスクをサポートできるか？

主な発見

• 提案手法は、FSGA、MTG、JoJoGAN、OSCLIP などのベースラインと比較して、定性的および定量的評価の両面で最先端の性能を達成した。
• アブレーションスタディにより、エンティティ損失 ($\mathcal{L}_{ent}$) がターゲットエンティティの生成に不可欠であり、変分ラプラシアン正則化 ($\mathcal{L}_{VLapR}$) がノイズおよびアーチファクトを顕著に低減することが確認された。
• スタイル損失 ($\mathcal{L}_{style}$) を除去すると、Inception スコア (IS) および Fréchet Inception Distance (FID) は向上するが、視覚的品質は劣化する。これは、指標と知覚的忠実度の間のトレードオフを示している。
• 適応された生成器は強力なドメイン間対応関係を維持しており、顔、犬、教会など多様なソースドメインにおいて、コンテンツおよびエンティティの正確なセマンティック編集を可能にした。
• 本フレームワークは、スタイル転送、ポーズ／年齢編集、エンティティ削除といった高度な操作タスクをサポートし、芸術的創作用途における実用性を示した。
• 訓練時間は効率的で、非ゼロマスクの参照画像では3〜5分、ゼロマスクでは3分（RTX 3090で測定）であり、FSGA（48分）などのベースラインと比較して顕著に高速であった。