[論文レビュー] Cross-domain Few-shot Learning with Task-specific Adapters

Weihong Li, Xialei Liu+1 more|arXiv (Cornell University)|Jul 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 9

ひとこと要約

本論文は、小規模なサポートセットから直接タスク固有のアダプタを最適化することで、アダプタ重みを予測する補助ネットワークの必要性を回避する、新しいクロスドメイン少数ショット学習フレームワークを提案する。複数のバックボーン層にリーマン接続付きマトリクスアダプタを用いることで、メタデータセット上で最先端の性能を達成し、計算コストを最小限に抑えつつ、未観測ドメインへのゼロショット一般化を著しく向上する。

ABSTRACT

In this paper, we look at the problem of cross-domain few-shot classification that aims to learn a classifier from previously unseen classes and domains with few labeled samples. Recent approaches broadly solve this problem by parameterizing their few-shot classifiers with task-agnostic and task-specific weights where the former is typically learned on a large training set and the latter is dynamically predicted through an auxiliary network conditioned on a small support set. In this work, we focus on the estimation of the latter, and propose to learn task-specific weights from scratch directly on a small support set, in contrast to dynamically estimating them. In particular, through systematic analysis, we show that task-specific weights through parametric adapters in matrix form with residual connections to multiple intermediate layers of a backbone network significantly improves the performance of the state-of-the-art models in the Meta-Dataset benchmark with minor additional cost.

研究の動機と目的

• テストデータが未学習ドメインから来る少数ショット分類の課題に対処すること。
• 従来の手法がタスク固有のアダプタ重みを動的に予測する補助ネットワークに依存するという制限を克服すること。
• メタテスト中に小規模なサポートセットから直接タスク固有アダプタを学習することで、未観測ドメインへの一般化を向上させること。
• アダプタアーキテクチャにおける設計選択（接続タイプやパrameterizationなど）を体系的に評価し、少数ショット適応に最適な構成を特定すること。
• フルバックボーン微調整を避けることで計算コストを低く抑えつつ、強力な一般化性能を維持する高い性能を達成すること。

提案手法

• 事前学習済みバックボーンネットワークの複数の中間層に適用する、学習可能で軽量な行列変換としてのタスク固有アダプタを導入する。
• バックボーン特徴量とアダプタ出力の間にリーマン接続を用いることで、訓練の安定性と勾配の流れを向上させる。
• メタテスト中にサポートセットを用いてアダプタパラメータを直接、スクラッチから最適化することで、別個の補助ネットワークの必要性を排除する。
• 直列接続とリーマン接続を含むさまざまなアダプタアーキテクチャを検討し、パラメータ数を削減するための効率的な低ランク近似を用いる。
• メタトレーニングではタスクに依存しないバックボーン重みを多様なドメインで学習し、メタテストではタスク固有アダプタのみを適応させる。
• 各エピソードでサポートセット上でエンドツーエンドにアダプタパラメータを最適化するための標準的な交差エントロピー損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 補助ネットワークに依存せずに、小規模なサポートセットからタスク固有アダプタをスクラッチで効果的に学習できるか？
• RQ2 リーマン接続型と直列型などの異なるアダプタアーキテクチャは、クロスドメイン少数ショット学習における性能にどのように影響するか？
• RQ3 低ランクパラメータ化は、アダプタの効率性と正確性にどのような影響を与えるか？
• RQ4 補助ネットワークによる動的予測と比較して、アダプタの直接最適化は未観測ドメインへの一般化においてどのように異なるか？
• RQ5 このアプローチは、低い推論コストを維持しながらも、最先端の性能を達成できるか？

主な発見

• 提案手法はメタデータセットベンチマークで最先端の性能を達成し、URL、Finetune+NCC、Simple CNAPSなどの先行手法を上回る。
• ImageNet上でのメタテスト推論コストを1タスクあたり7.2秒まで低減し、フル微調整（7.7秒）よりも著しく低く、最も高速なベースライン（0.7秒）と比較して高い正確性を達成している。
• 低ランク近似を施したリーマン接続付きマトリクスアダプタは、パラメータ数の増加を最小限に抑えつつ優れた性能を発揮し、効率性と有効性を両立している。
• 定性的な結果から、本手法はベースラインよりも意味的に類似した画像をより正確に検索していることが示され、色・形状・背景の類似性に基づいて検索する傾向が強いベースラインとは対照的である。
• Birds、Traffic Sign、CIFAR-100などの難易度の高いデータセットにおける正しく予測された最近傍探索結果から、未観測ドメインへの一般化性能が優れていることが裏付けられている。
• アブレーションスタディにより、補助ネットワークによる動的予測よりも、アダプタの直接最適化が、特にクロスドメイン設定において優れた性能を発揮することが確認された。