[論文レビュー] Few-shot Image Generation via Adaptation-Aware Kernel Modulation

Yunqing Zhao, Keshigeyan Chandrasegaran+2 more|arXiv (Cornell University)|Oct 29, 2022

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

本論文は、ソースドメインとターゲットドメインの両方の特徴に基づいてソースモデルの知識を選択することで、転移学習を向上させる、新たな少サンプル画像生成手法Adaptation-Aware Kernel Modulation (AdAM)を提案する。従来の手法がソースドメインの知識の保存にのみ依存するのに対し、AdAMは適応に気づいたカーネルモodulationを通じて、転送可能な特徴を同定し、FID: 80.55（10ショット）という、FFHQ → Cars という困難な設定を含む、多様なソース・ターゲットドメインの近接度において最先端の性能を達成する。

ABSTRACT

Few-shot image generation (FSIG) aims to learn to generate new and diverse samples given an extremely limited number of samples from a domain, e.g., 10 training samples. Recent work has addressed the problem using transfer learning approach, leveraging a GAN pretrained on a large-scale source domain dataset and adapting that model to the target domain based on very limited target domain samples. Central to recent FSIG methods are knowledge preserving criteria, which aim to select a subset of source model's knowledge to be preserved into the adapted model. However, a major limitation of existing methods is that their knowledge preserving criteria consider only source domain/source task, and they fail to consider target domain/adaptation task in selecting source model's knowledge, casting doubt on their suitability for setups of different proximity between source and target domain. Our work makes two contributions. As our first contribution, we re-visit recent FSIG works and their experiments. Our important finding is that, under setups which assumption of close proximity between source and target domains is relaxed, existing state-of-the-art (SOTA) methods which consider only source domain/source task in knowledge preserving perform no better than a baseline fine-tuning method. To address the limitation of existing methods, as our second contribution, we propose Adaptation-Aware kernel Modulation (AdAM) to address general FSIG of different source-target domain proximity. Extensive experimental results show that the proposed method consistently achieves SOTA performance across source/target domains of different proximity, including challenging setups when source and target domains are more apart. Project Page: https://yunqing-me.github.io/AdAM/

研究の動機と目的

• 既存の少サンプル画像生成（FSIG）手法が、ソースドメインの知識保存にのみ依存し、ターゲットドメインへの適応を無視するという限界に対処すること。
• ソースとターゲットドメインが意味的に遠く離れている場合、既存の最先端FSIG手法の性能が低下するかどうかを調査すること。
• ソースドメインからターゲットドメインへの転送可能な知識を、ソースと適応の両タスクを統合的に考慮することで同定する手法を開発すること。
• FFHQ → Cars に10ショットのデータを用いたような挑戦的な設定を含め、多様なソース・ターゲットドメインの設定において一貫した最先端の性能を示すこと。

提案手法

• 生成器の畳み込みカーネル重みを、ソースモデルの特徴とターゲットドメインへの適応信号の両者に基づいてモジュレートする、Adaptation-Aware Kernel Modulation (AdAM) のメカニズムを提案する。
• ソースタスクだけでなく、ターゲットドメインへの効果的な適応に対しても重要であると評価する、知識保存基準を導入する。
• ターゲットドメインで多様で高精細な画像を生成するのに最も有益なソースモデルのカーネルを選択するように、微分可能な適応に気づいた損失を用いる。
• カーネルモジュレーションを組み込んだ修正されたGAN損失を用いて、適応されたGANを訓練し、ソースから最も転送可能な知識のみを保持できるようにする。
• 完全な生成器を再トレーニングせずに、10〜100個のターゲットサンプルのみを用いた少サンプル微調整設定に本手法を適用する。
• 事前学習済みのStyleGAN2をソースモデルとし、モジュレートされたカーネルを備えた軽量なアダプターヘッドを用いて、ターゲットドメインに適応させる。

実験結果

リサーチクエスチョン

• RQ1 ソースとターゲットドメインが意味的に遠く離れている場合、既存の最先端FSIG手法の性能は、近接性仮定を満たさない状況で低下するのか？
• RQ2 ソースと適応の両タスクを考慮する基準を用いることで、遠く離れたターゲットドメインへの転送可能な知識を効果的に同定できるか？
• RQ3 知識保存をソースのみの基準ではなく、適応に気づいた基準によってガイドすることで、少サンプル画像生成において顕著な性能向上が達成できるか？
• RQ4 FFHQ → Cars という挑戦的な少サンプル設定において、提案手法AdAMは、学習から再始動する方法や他の最先端ベースラインと比較してどうなるか？

主な発見

• 10個のトレーニングサンプルでの挑戦的なFFHQ → Carsの少サンプル設定において、AdAMはFréchet Inception Distance (FID) 80.55を達成し、学習から再始動した場合（FID: 201.34）と比べて顕著に優れている。
• AdAMは、CDC（FID: 109.53） や DCL（FID: 125.96）を含むすべての最先端ベースラインよりもFIDが低く、サンプル内多様性（Intra-LPIPS: 0.425）が高く、優れたサンプル品質と多様性を示している。
• ソースとターゲットドメインの近接性仮定を緩和した場合、EWC や CDC といった既存の最先端手法は、単純な微調整と同等の性能にとどまり、遠く離れたドメインへの適応における限界を示している。
• アブレーションスタディにより、AdAMにおける適応に気づいた知識選択が極めて重要であることが確認され、ターゲットに気づいたコンponentを除去すると性能が低下することがわかった。
• FFHQ → Cars といった遠く離れたドメイン設定でも、転送可能な知識（例：低レベルのエッジや形状）が存在し、AdAMによって効果的に活用され、高品質な画像を生成できることが示された。
• 本手法は、顔から赤ん坊の顔（例：顔 → 赤ん坊の顔）のような近接設定から、顔から車（例：顔 → 車）のような遠く離れた設定まで、複数のドメインペアにおいて強力な性能を維持しており、汎化能力の高さを証明している。