[論文レビュー] Improving Task Adaptation for Cross-domain Few-shot Learning.

Weihong Li, Xialei Liu+1 more|arXiv (Cornell University)|Jul 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 5

ひとこと要約

この論文では、畳み込み層に接続された残差接続付きパラメトリックアダプタを提案し、クロスドメイン少数ショット学習を改善する。メタテスト中に既存モデルにこれらのアダプタを統合することで、計算コストを最小限に抑えながらMeta-Datasetベンチマークで最先端の性能を達成する。

ABSTRACT

In this paper, we look at the problem of cross-domain few-shot classification that aims to learn a classifier from previously unseen classes and domains with few labeled samples. We study several strategies including various adapter topologies and operations in terms of their performance and efficiency that can be easily attached to existing methods with different meta-training strategies and adapt them for a given task during meta-test phase. We show that parametric adapters attached to convolutional layers with residual connections performs the best, and significantly improves the performance of the state-of-the-art models in the Meta-Dataset benchmark with minor additional cost. Our code will be available at this https URL.

研究の動機と目的

• ラベル付きデータが極めて限られた未学習ドメインおよび未学習クラスにおける少数ショット分類の課題に対処すること。
• 既存の少数ショット学習モデルにスムーズに統合可能な効率的で効果的なアダプタアーキテクチャを調査すること。
• クロスドメイン少数ショット設定における性能と推論効率のバランスを最適化するためのアダプタトポロジーや操作を最適化すること。
• メタトレーニングの更新を必要とせず、事前学習済みモデルにアダプタを接続することでメタテスト中にタスク適応を可能にすること。
• 最小限のアーキテクチャ的変更で、SOTAモデルのMeta-Datasetベンチマークにおける一般化性能を向上させること。

提案手法

• 事前学習済みモデルの畳み込み層に埋め込む軽量モジュールとしてパラメトリックアダプタを導入する。
• トレーニングの安定化と勾配の流れの改善のため、残差接続を用いる。
• アダプタをメタテスト段階で適用し、メタトレーニングの更新を必要とせずに新しいタスクにモデルを適応させる。
• 最も効果的な構成を特定するために、さまざまなアダプタトポロジーや操作を評価する。
• 異なるメタトレーニング戦略を用いた既存の少数ショット学習手法にアダプタを接続し、一般化性能を評価する。
• タスク固有の適応のため、推論中にエンドツーエンドのファインチューニングによりアダプタパラメータを最適化する。

実験結果

リサーチクエスチョン

• RQ1 クロスドメイン少数ショット学習において、性能と効率のバランスを最良にするアダプタトポロジーや操作は何か？
• RQ2 残差接続付きパラメトリックアダプタは、未学習ドメインおよび未学習クラスに事前学習済みモデルを適応させるのにどの程度効果的か？
• RQ3 メタトレーニングの更新を必要とせず、メタテスト段階でアダプタを効果的に適用できるか？
• RQ4 アダプタはMeta-DatasetベンチマークにおけるSOTAモデルの性能をどの程度向上できるか？
• RQ5 性能の向上と比較して、アダプタの統合にかかる計算コストはどの程度か？

主な発見

• パラメトリックアダプタに残差接続を組み合わせた構成が、精度と効率の両面で他のすべてのアダプタ設定を上回る。
• 提案されたアダプタ設計により、Meta-DatasetベンチマークにおけるSOTAモデルの性能が顕著に向上した。
• 推論コストの増加はわずかであり、実世界の展開において実用的である。
• アダプタは、メタトレーニング中にターゲットドメインを学習していない場合でも、メタテスト中に効果的なタスク適応を可能にする。
• さまざまなメタトレーニング戦略およびベースモデルにわたり、良好な一般化性能を示した。