[論文レビュー] Rethinking Generalization in Few-Shot Classification

M. Hiller, Rongkai Ma+2 more|arXiv (Cornell University)|Jun 15, 2022

Domain Adaptation and Few-Shot Learning被引用数 29

ひとこと要約

本論文は FewTURE を提案する。トークンリウェイト付きの類似度ベースの few-shot 分類器で、推論時にオンライン最適化を用いて動作し、few-shot タスクにおける一般化のための自己教師あり事前学習の利点を示すとともに、モデルサイズと構成要素に関する包括的なアブレーションを行う。

ABSTRACT

Single image-level annotations only correctly describe an often small subset of an image's content, particularly when complex real-world scenes are depicted. While this might be acceptable in many classification scenarios, it poses a significant challenge for applications where the set of classes differs significantly between training and test time. In this paper, we take a closer look at the implications in the context of $\textit{few-shot learning}$. Splitting the input samples into patches and encoding these via the help of Vision Transformers allows us to establish semantic correspondences between local regions across images and independent of their respective class. The most informative patch embeddings for the task at hand are then determined as a function of the support set via online optimization at inference time, additionally providing visual interpretability of `$\textit{what matters most}$' in the image. We build on recent advances in unsupervised training of networks via masked image modelling to overcome the lack of fine-grained labels and learn the more general statistical structure of the data while avoiding negative image-level annotation influence, $\textit{aka}$ supervision collapse. Experimental results show the competitiveness of our approach, achieving new state-of-the-art results on four popular few-shot classification benchmarks for $5$-shot and $1$-shot scenarios.

研究の動機と目的

• 従来のプロトタイプを超える few-shot 分類における一般化を、トランスフォーマー内のトークンレベル情報を活用して改善する動機づけ。
• 推論時にオンライン最適化を通じて適応するトークン再ウェイト機構を提案し、分類のための有益な画像パッチを選択する。
• 自己 supervis iled pretraining と supervised pretraining のいずれが supervision collapse を緩和し few-shot 性能を高めるかを評価する。
• モデルサイズが few-shot 性能に与える影響を検討し、強力な結果を得るための実用的なバックボーン選択と訓練ダイナミクスを特定する。

提案手法

• FewTURE を導入。パッチ/トークンベースの分類器で、タスク固有の類似度スコアをトークンごとの logsumexp によって集約して用いる。
• 推論時にオンライン最適化を実装し、トークン重要度ウェイトを学習して有益な領域に選択的注意を向ける。
• 埋め込み類似度ロジットに対して温度スケーリングを適用し、トークン間でクラスロジットを安定化・適応させる。
• 自己教師ありのマスクド画像モデリングでバックボーンを事前訓練し、固定評価プロトコル下で supervised pretraining と比較する。
• 内部ループのトークン再ウェイティング手順、集約方法、類似度指標のアブレーションを行い、設計選択を正当化する。
• バックボーンのバリアント（ViT-small、Swin-tiny）と使用したハードウェアを含む訓練および推論の詳細を報告する。

実験結果

リサーチクエスチョン

• RQ1 トークン再ウェイトに基づく推論手順は、固定プロトタイプと比較して few-shot の一般化を改善するか。
• RQ2 自己教師あり pretraining は supervised pretraining と比較して few-shot 設定での一般化にどのように影響するか。
• RQ3 モデルサイズが few-shot 性能に与える影響はどの程度か、FewTURE 下でどのバックボーンが最良の結果を出すか。
• RQ4 トークンの集約方法と類似度指標の選択は FewTURE の分類精度にどのように影響するか。
• RQ5 オンライン最適化ステップ数の変化が精度と推論時間に与える影響はどうなるか。

主な発見

• トークン再ウェイトを用いた FewTURE は、Mini ImageNet、Tiered ImageNet、CIFAR-FS、FC-100 のデータセット間で競争力のあるまたは最先端の性能を達成する。
• 自己教師あり pretraining は FewTURE に対して顕著な利点を提供し、監視崩壊を避け、より一般的な表現を促進する可能性がある。
• 内部ループの再ウェイト回数を増やすと精度は向上するが収益は逓減し推論時間が延びる。5–15 回のステップが妥協点として適切。
• トークンロジットの logsumexp 集約と温度スケーリングによるコサイン類似性は、平均集約や他の指標よりも優れた性能を示す。
• モデルサイズだけで few-shot 性能を予測するのは信頼できない。より小さな ViT-tiny / ViT-small バックボーンでも高い効果を発揮できる場合があり、より大きなバックボーンが得られる利得は限られることがある。
• アブレーションは、トークン再ウェイトの重要性と埋め込み類似性における温度スケーリングが提供する安定性を示している。