[論文レビュー] Few-Shot Learning as Domain Adaptation: Algorithm and Analysis

Jiechao Guan, Zhiwu Lu+2 more|arXiv (Cornell University)|Feb 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 9

ひとこと要約

本稿では、メタ学習フレームワーク内でドメイン適応を特別なケースとしてモデル化することで、少数のショット学習における既知クラスと未知クラス間の分布シフトを明示的に扱う、注目メカニズムを備えたドメイン適応プロトタイプネットワーク（DAPNA）を提案する。セットトランスフォーマーに基づく注目モジュールとマージン乖離不一致（MDD）損失を用いた特徴転送ネットワークを採用し、特徴の整合性を向上させることで、理論的一般化境界を伴い、最先端の性能を達成する。

ABSTRACT

To recognize the unseen classes with only few samples, few-shot learning (FSL) uses prior knowledge learned from the seen classes. A major challenge for FSL is that the distribution of the unseen classes is different from that of those seen, resulting in poor generalization even when a model is meta-trained on the seen classes. This class-difference-caused distribution shift can be considered as a special case of domain shift. In this paper, for the first time, we propose a domain adaptation prototypical network with attention (DAPNA) to explicitly tackle such a domain shift problem in a meta-learning framework. Specifically, armed with a set transformer based attention module, we construct each episode with two sub-episodes without class overlap on the seen classes to simulate the domain shift between the seen and unseen classes. To align the feature distributions of the two sub-episodes with limited training samples, a feature transfer network is employed together with a margin disparity discrepancy (MDD) loss. Importantly, theoretical analysis is provided to give the learning bound of our DAPNA. Extensive experiments show that our DAPNA outperforms the state-of-the-art FSL alternatives, often by significant margins.

研究の動機と目的

• 既知クラスでメタ学習が行われるにもかかわらず、一般化が妨げられる、少数のショット学習における既知クラスと未知クラス間の分布シフトの課題に対処すること。
• 既知クラスと未知クラス間のドメインシフトを、メタ学習フレームワーク内でのドメイン適応の特別なケースとしてモデル化すること。
• 限定的な少数のショットサンプルを用いて、既知クラスと未知クラス間の特徴分布の整合性を向上させること。
• 提案手法のための理論的一般化境界を提供し、一般化保証を確保すること。

提案手法

• ドメインシフトを模倣するために、既知クラスに重複のない2つのサブエピソードを用意し、各エピソードを構築する。
• セットトランスフォーマーに基づく注目モジュールを用いて、サポートサンプル間の関係をモデル化し、特徴表現学習を向上させる。
• 限られたラベル付きデータを用いて、2つのサブエピソードの特徴分布を整合化するための特徴転送ネットワークを導入する。
• マージン乖離不一致（MDD）損失を用いて、ドメインの乖離を最小化するとともに、クラスの分離性を保持する。
• エンドツーエンドのメタ学習パラダイムに従い、エピソード間の少数のショット一般化を最適化する。
• 理論的分析により、DAPNAの一般化境界を提供し、モデル性能がドメインシフトとデータ不足にどのように関連するかを明示する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応技術をどのように効果的に少数のショット学習に統合し、既知クラスと未知クラス間の分布シフトを軽減できるか？
• RQ2 セットトランスフォーマーに基づく注目メカニズムは、ドメインシフト下の少数のショット学習における特徴整合をどのように向上させられるか？
• RQ3 特徴転送ネットワークと組み合わせたMDD損失は、低ショット状況下での一般化をどの程度向上させるか？
• RQ4 ドメインシフトを明示的にモデル化する少数のショット学習モデルの理論的一般化境界は何か？

主な発見

• DAPNAは、標準的な少数のショット学習ベンチマークで最先端の性能を達成し、既存手法を顕著な差で上回る。
• セットトランスフォーマーに基づく注目メカニズムの統合により、ドメインシフト下での特徴表現学習とモデルのロバスト性が向上する。
• MDD損失と組み合わせた特徴転送ネットワークは、最小限のラベル付きデータで、既知クラスと未知クラス間の特徴分布を効果的に整合化する。
• 理論的分析により、DAPNAの一般化境界がタイトであることが確認され、分布シフトに対するロバスト性が裏付けられる。
• 実験結果により、複数の少数のショット学習プロトコルとデータセットで一貫した性能向上が示された。