[論文レビュー] Cross-Domain Few-Shot Classification via Adversarial Task Augmentation

Haoqing Wang, Zhihong Deng|arXiv (Cornell University)|Apr 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 7

ひとこと要約

本論文は、ソースタスク分布の周辺におけるワーストケース最適化を通じて、インダクティブバイアスに適応する「挑戦的」なタスクを生成することにより、クロスドメイン少数ショット分類の性能を向上させるための adversarial task augmentation を提案する。この手法は、メタラーニングモデルのドメインシフトに対するロバスト性を向上させ、9つの多様な少数ショットデータセットにおいて、標準的なメタラーニングおよびファインチューニングベースラインを著しく上回り、さまざまなモデルに即座に統合可能なプラグアンドプレイモジュールである。

ABSTRACT

Few-shot classification aims to recognize unseen classes with few labeled samples from each class. Many meta-learning models for few-shot classification elaborately design various task-shared inductive bias (meta-knowledge) to solve such tasks, and achieve impressive performance. However, when there exists the domain shift between the training tasks and the test tasks, the obtained inductive bias fails to generalize across domains, which degrades the performance of the meta-learning models. In this work, we aim to improve the robustness of the inductive bias through task augmentation. Concretely, we consider the worst-case problem around the source task distribution, and propose the adversarial task augmentation method which can generate the inductive bias-adaptive 'challenging' tasks. Our method can be used as a simple plug-and-play module for various meta-learning models, and improve their cross-domain generalization capability. We conduct extensive experiments under the cross-domain setting, using nine few-shot classification datasets: mini-ImageNet, CUB, Cars, Places, Plantae, CropDiseases, EuroSAT, ISIC and ChestX. Experimental results show that our method can effectively improve the few-shot classification performance of the meta-learning models under domain shift, and outperforms the existing works. Our code is available at https://github.com/Haoqing-Wang/CDFSL-ATA.

研究の動機と目的

• 少数ショット分類におけるドメインシフト下でのメタラーニングモデルの一般化性能の低さを解決する。
• タスク固有のインダクティブバイアスや手動設計に依存する既存手法の制限を克服する。
• ターゲットドメインデータが不要な一般化可能で、プラグアンドプレイ可能な手法を開発し、クロスドメインのロバスト性を向上させる。
• 最悪ケースタスク分布をシミュレートすることで、メタラーニングモデルが未学習ドメインにも一般化できるようにする。

提案手法

• 距離メトリック D(T, T₀) ≤ ρ で定義されるソースタスク分布の近傍におけるワーストケース最適化として問題を定式化する。
• 勾配ベースの最適化を用いて、モデルのインダクティブバイアスに挑戦する悪性タスクを生成し、特に損失関数 L(T; θ) を標的とする。
• 多様性を高め、一般化性能を向上させるために、ランダム畳み込みを補助的タスク増強技術として導入する。
• 悪性タスク生成中に早期停止を適用することで、明示的な正則化なしにタスク分布を暗黙的に正則化する。
• メトリックベース（RelationNet）、グラフニューラルネットワーク（GNN）、少数ショット学習（TPN）モデルを含む、さまざまなメタラーニングモデルと統合可能なプラグアンドプレイモジュールを設計する。
• サポートセット間の特徴レベルの差異に基づく距離メトリックを用いて、タスク分布シフトを定義する。

実験結果

リサーチクエスチョン

• RQ1 悪性タスク増強は、少数ショット分類におけるメタラーニングモデルのクロスドメイン一般化性能を向上させることができるか？
• RQ2 本手法は、クロスドメイン少数ショット設定において、標準的なファインチューニングおよび事前学習と比較してどのように異なるか？
• RQ3 本手法は、異なるインダクティブバイアスを有する多様なメタラーニングモデルに一般化可能か？
• RQ4 ランダム畳み込みと正則化項は、タスク増強プロセスにどのような影響を与えるか？

主な発見

• 提案手法の悪性タスク増強は、mini-ImageNet、CUB、ISIC、ChestX などを含む9つの多様なデータセットにおいて、クロスドメイン設定下で少数ショット分類の正確性を著しく向上させる。
• 本手法は、標準的なメタラーニングモデルおよび従来の事前学習／ファインチューニングベースラインを、すらにデータ増強技術を適用した場合でさえも上回る。
• 5ウェイ1ショットおよび5ショットタスクにおいて、本手法は最先端の性能を達成し、テスト済みの全8つの未学習ドメインで一貫した向上を示す。
• アブレーションスタディの結果、ランダム畳み込みが性能向上に寄与することが判明したが、正則化項は効果がなく、むしろ一般化性能を損なう可能性がある。
• メトリックベースでないモデル（例：TPN）に対しても本手法が有効であることが示され、メトリックベースのアプローチにとどまらない広範な適用可能性を示している。
• 最悪ケース最適化フレームワークは、ターゲットドメインデータにアクセスせずに、ロバスト性を向上させる挑戦的タスクを効果的に生成できた。