[論文レビュー] Meta-FDMixup: Cross-Domain Few-Shot Learning Guided by Labeled Target Data

Yuqian Fu, Yanwei Fu+1 more|arXiv (Cornell University)|Jul 26, 2021

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 9

ひとこと要約

本論文は、少量のラベル付きターゲットデータを活用してドメイン間の一般化を向上させるメタラーニングフレームワーク、Meta-FDMixupを提案する。マスクアップベースのデータ拡張と分離特徴学習を組み合わせることで、ドメインに依存しない特徴とドメイン固有の特徴を分離し、ターゲットデータセットで最先端の性能を達成するとともに、ソースデータセットの精度向上も実現した。

ABSTRACT

A recent study finds that existing few-shot learning methods, trained on the source domain, fail to generalize to the novel target domain when a domain gap is observed. This motivates the task of Cross-Domain Few-Shot Learning (CD-FSL). In this paper, we realize that the labeled target data in CD-FSL has not been leveraged in any way to help the learning process. Thus, we advocate utilizing few labeled target data to guide the model learning. Technically, a novel meta-FDMixup network is proposed. We tackle this problem mainly from two aspects. Firstly, to utilize the source and the newly introduced target data of two different class sets, a mixup module is re-proposed and integrated into the meta-learning mechanism. Secondly, a novel disentangle module together with a domain classifier is proposed to extract the disentangled domain-irrelevant and domain-specific features. These two modules together enable our model to narrow the domain gap thus generalizing well to the target datasets. Additionally, a detailed feasibility and pilot study is conducted to reflect the intuitive understanding of CD-FSL under our new setting. Experimental results show the effectiveness of our new setting and the proposed method. Codes and models are available at https://github.com/lovelyqian/Meta-FDMixup.

研究の動機と目的

• ソースドメインとターゲットドメインが顕著に異なる場合に、既存手法が失敗するドメインシフト問題に対処すること。
• 少量のラベル付きターゲット例を補助データとして用いることの妥当性と有効性を検討すること。
• ゼロショット一般化の向上を図るため、ドメインに依存しない特徴とドメイン固有のインダクティブバイアスを同時に学習する手法を開発すること。
• メタラーニングパイプラインにラベル付きターゲットデータを統合する最適なトレーニング戦略を検証すること。

提案手法

• メタトレーニング中にソースデータセットと補助（ラベル付きターゲット）データセットの間でマスクアップ拡張を統合する、新しいメタ-FDMixupネットワークを提案する。
• 画像特徴をドメインに依存しない（共有）成分とドメイン固有の（固有）成分に分離するための分離モジュールを導入する。
• モデルは、ドメインに依存しない特徴を用いて、ソースサポートセットと補助サポートセットの両方で二重の少数ショット分類タスクを実行する。
• ドメイン固有の特徴の分離を強化するために、ソースドメインとターゲットドメインを区別するドメイン分類器を訓練する。
• マスクアップ比λは、Beta(α, α)分布からサンプリングされる。これにより、ソースドメインと補助ドメイン間のデータミキシングがバランスよく保たれる。
• FSL分類とドメイン分類の目的関数を組み合わせたマルチタスク損失を用いて、エンドツーエンドでフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 少量のラベル付きターゲット例が、ドメイン間設定における少数ショット一般化に顕著な向上をもたらすか？
• RQ2 メタトレーニングのどの段階で補助ターゲットデータを導入すれば、最良のパフォーマンスが得られるか？
• RQ3 補助ラベル付き例の数がモデルの精度と頑健性にどのように影響するか？
• RQ4 ドメインに依存しない特徴とドメイン固有の特徴を同時に学習することは、標準的なメタラーニングよりも優れた一般化をもたらすか？

主な発見

• ターゲットドメインからわずか5〜10例のラベル付き例を導入するだけで、ドメイン間少数ショット学習における性能向上が顕著に見られた。
• 二重FSL分類タスクメカニズムは、ソースデータセットおよびターゲットデータセットの両方で単一タスクベースラインを上回り、ドメイン間での相互改善が示された。
• λが一方のドメインに偏る（例：λ > 0.5 または λ < 0.5）と性能が低下し、バランスの取れたミキシングが多様性と一般化に不可欠であることが示された。
• Grad-CAMによる可視化により、提案モデルがターゲットクラス画像の特徴的部位（例：鳥の羽）に注目する一方で、ベースラインは背景やドメイン固有のアーティファクトに注目することが確認された。
• CUB、Cars、Places、Plantaeなどの複数のターゲットデータセットで最先端の精度を達成したほか、ソースのmini-ImageNetデータセットでも性能向上を実現した。