[論文レビュー] Domain-Adaptive Few-Shot Learning

An Zhao, Mingyu Ding+6 more|arXiv (Cornell University)|Mar 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 7

ひとこと要約

本稿では、ドメイン適応的 few-shot ラーニング（DA-FSL）のための統合フレームワークであるドメイン対抗的プロトタイプネットワーク（DAPN）を提案する。DAPNは、少数のラベル付きサンプルを用いて、ドメインシフトと少サンプル分類の両方を同時に効果的に処理する。特徴抽出の前段階でドメイン識別を導入し、その後にドメインの曖昧化を適用することで、グローバルなドメイン整合性とクラス内分離性の両立を実現する。DAPNは、DomainNet、Sketch、Quick-Draw といった複数のベンチマークで、最先端のFSLおよびDAモデルを上回る性能を発揮する。

ABSTRACT

Existing few-shot learning (FSL) methods make the implicit assumption that the few target class samples are from the same domain as the source class samples. However, in practice this assumption is often invalid -- the target classes could come from a different domain. This poses an additional challenge of domain adaptation (DA) with few training samples. In this paper, the problem of domain-adaptive few-shot learning (DA-FSL) is tackled, which requires solving FSL and DA in a unified framework. To this end, we propose a novel domain-adversarial prototypical network (DAPN) model. It is designed to address a specific challenge in DA-FSL: the DA objective means that the source and target data distributions need to be aligned, typically through a shared domain-adaptive feature embedding space; but the FSL objective dictates that the target domain per class distribution must be different from that of any source domain class, meaning aligning the distributions across domains may harm the FSL performance. How to achieve global domain distribution alignment whilst maintaining source/target per-class discriminativeness thus becomes the key. Our solution is to explicitly enhance the source/target per-class separation before domain-adaptive feature embedding learning in the DAPN, in order to alleviate the negative effect of domain alignment on FSL. Extensive experiments show that our DAPN outperforms the state-of-the-art FSL and DA models, as well as their naïve combinations. The code is available at https://github.com/dingmyu/DAPN.

研究の動機と目的

• 元のラベル付きデータとは異なるドメインに由来するターゲットクラスを対象とした少サンプル学習の課題に取り組むこと。これは、先行研究で無視されてきた設定である。
• 同じフレームワーク内でドメイン適応（分布の整合性が求められる）と少サンプル学習（クラスの識別能が求められる）の間で生じる相反する要請を克服すること。
• 最小限のラベル付きターゲットサンプルで、同時に少サンプル分類とドメイン適応を可能にする統合型モデルを開発すること。
• カメラの種別やスケッチ vs. フォトグラフといった、実世界のデータ分布の変化が、希少クラス認識と併存する状況における一般化性能を向上させること。

提案手法

• 単一のアーキテクチャ内でプロトタイプメトリック学習とドメイン適応を統合する、新しいドメイン対抗的プロトタイプネットワーク（DAPN）を提案する。
• ドメイン整合性を高めるために、特徴抽出モジュールの前段階でドメイン識別損失（$L_{ds}$）を導入し、ドメイン整合前のクラス分離性を強化する。
• 特徴抽出モジュールの後段でドメイン曠乱損失（$L_{dc}$）を適用することで、グローバルなドメイン分布の整合性を保ちつつ、クラスごとの構造を維持する。
• ドメイン整合とクラス識別能の両立を図るため、複数の損失関数を適応的に再重み付けする。
• アドバーシャルトレーニングにより学習されたドメイン適応特徴を用いて、サポートセットの埋め込みに基づくプロトタイプネットワークによる少サンプル分類を実装する。
• プロトタイプ損失（$L_{ps}$）、クラス別ドメイン損失（$L_{pd}$）、ドメイン曠乱（$L_{dc}$）、ドメイン識別（$L_{ds}$）の組み合わせを用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットクラスがソースクラスとは異なるドメインに由来する状況において、統合型モデルが、少サンプル分類とドメイン適応の両方を効果的に解決できるか？
• RQ2 グローバルな分布整合性によってクラス識別能が損なわれるのを防ぐために、ドメイン適応を少サンプル学習とどのように統合できるか？
• RQ3 埋め込みの前段階でドメイン識別を導入することで、埋め込み後のドメイン曠乱のみに依存する手法に比べ、性能が向上するか？
• RQ4 適応的損失再重み付けは、DA-FSLにおける相反する目的のバランスをどの程度改善するか？

主な発見

• DAPNは、5-way 5-shot設定下で、DomainNet、Sketch、Quick-Draw データセットにおいて、最先端のFSLおよびドメイン適応モデルを上回る性能を発揮する。
• アブレーションスタディの結果、ドメイン識別、ドメイン曠乱、適応的再重み付けの各モジュールが性能向上に顕著な寄与をしていることが確認された。
• 埋め込みの前段階でドメイン識別を導入（$L_{ds}$ による）することで、ソースとターゲットのクラス分離性が向上し、t-SNEの可視化によって裏付けられた。
• 埋め込みの後段でドメイン曠乱（$L_{dc}$）を適用することは、グローバルなドメイン整合性を実現するために不可欠であり、FSL+DCはFSL単体に比べて顕著な性能向上を示した。
• 完全なモデル（FSL+DAA+ARW）は、すべてのデータセットで最高の精度を達成し、マルチ目的最適化の有効性を示した。
• Sketch や Quick-Draw といった、DomainNet よりも大きなドメインギャップを示す合成データセットに対しても、モデルは頑健に性能を発揮した。これは、一般化能力の高さを裏付けている。