[論文レビュー] A Closer Look at Few-shot Classification Again

Xu Luo, Hao Wu+4 more|arXiv (Cornell University)|Jan 28, 2023

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

本論文はfew-shot分類における訓練と適応が分離され、相関しないことを証明し、それぞれのフェーズを独立して分析できるようにする。さらに神経学的スケーリング則と適応ダイナミクスを明らかにする。

ABSTRACT

Few-shot classification consists of a training phase where a model is learned on a relatively large dataset and an adaptation phase where the learned model is adapted to previously-unseen tasks with limited labeled samples. In this paper, we empirically prove that the training algorithm and the adaptation algorithm can be completely disentangled, which allows algorithm analysis and design to be done individually for each phase. Our meta-analysis for each phase reveals several interesting insights that may help better understand key aspects of few-shot classification and connections with other fields such as visual representation learning and transfer learning. We hope the insights and research challenges revealed in this paper can inspire future work in related directions. Code and pre-trained models (in PyTorch) are available at https://github.com/Frankluox/CloserLookAgainFewShot.

研究の動機と目的

• few-shot分類における訓練フェーズと適応フェーズが完全に相関しないかを調査する。
• もう一方を固定して各フェーズを体系的に分析し、それぞれの寄与を理解する。
• データセットの規模、モデルアーキテクチャ、タスク設定が両フェーズの性能にどのように影響するかを特徴づける。
• アルゴリズム設計への実践的示唆と表現学習および転移学習との関連を明らかにする。

提案手法

• アルゴリズムペア間の Avg と CI を用いて訓練アルゴリズムと適応アルゴリズムの相互作用を評価する形式的な枠組みを定義する。
• 訓練には meta-learning と非メタ学習を含む多様な学習戦略で Mtrain と Madapt を構築し、適応にはさまざまな適応法を用意する。
• Meta-Dataset と複数のバックボーンを用いて、他方のフェーズでアルゴリズムのランキングが保持されるかを確認することで、相関なしを実証的に評価する。
• ImageNet規模データ上で CE、PN、MoCo-v2 を用い、訓練データをクラスあたりのサンプル数およびクラス数でスケールさせることにより訓練フェーズの影響を分析する。
• ImageNet および Quick Draw データセットで、ways/shots およびバックボーン適応戦略を変化させて適応フェーズの影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 few-shot分類において訓練アルゴリズムと適応アルゴリズムは相関しないのか。すなわち一方のフェーズを変えても他方のフェーズにおけるアルゴリズムの性能ランキングは変わらないのか？
• RQ2 訓練データセットの規模（クラスあたりのサンプル数とクラス数）をどのように変えると、異なる訓練アルゴリズムの few-shot 学習性能に影響を与えるのか？
• RQ3 ImageNetレベルの事前学習モデルは、教師ありトレーニングと自己教師付きトレーニングにおける few-shot パフォーマンスとどのように相関するのか？
• RQ4 異なる適応戦略（finetune、partial finetune、そして query-support 法）を、さまざまな ways と shots で適用するとどのような影響があるのか？
• RQ5 few-shot performance を最大化するための、訓練および適応の構成要素選択に関する実践的な指針は何か？

主な発見

• 訓練アルゴリズムと適応アルゴリズムは秩序立った集合を形成し、一方のフェーズを変更すると他方のフェーズで単調増加または重なり合う改善が生じる。
• 教師ありモデルでは、訓練クラス数を増やすことが、クラスあたりのサンプル数を増やすよりも大きな利益をもたらし、クラスに関する神経学的スケーリング則を示唆している。
• ImageNet の性能は教師ありモデルの few-shot パフォーマンスを良く予測しないが、自己教師付きモデルでは強く予測する。
• ベーシックなファインチューニングは、few-shot 適応において部分ファインチューニング手法よりも優れることが多く、ways/shots が増え、タスクのシフトが大きいほど利点が大きくなるが、計算時間は増加する。
• バックボーン適応は high-way, high-shot, またはクロスドメインタスクで有利になる一方、データ規模が増えると query-support マッチング手法のスケールが悪化する。