[論文レビュー] Automatic Combination of Sample Selection Strategies for Few-Shot Learning

Branislav Pecher, Ivan Srba+2 more|TU/e Research Portal|Feb 5, 2024

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、少数ショット学習における複数のサンプル選択戦略を自動で統合するACSESSを提案する。補完的強みを活用することで、性能を向上させる。文脈内学習において、個々の戦略やLENSなどの先行手法に比べて最大5パーセンテージポイントの向上を達成し、低ショット設定では顕著な向上を示すが、高ショット数では収束効果が顕著になる。

ABSTRACT

In few-shot learning, such as meta-learning, few-shot fine-tuning or in-context learning, the limited number of samples used to train a model have a significant impact on the overall success. Although a large number of sample selection strategies exist, their impact on the performance of few-shot learning is not extensively known, as most of them have been so far evaluated in typical supervised settings only. In this paper, we thoroughly investigate the impact of 20 sample selection strategies on the performance of 5 few-shot learning approaches over 8 image and 6 text datasets. In addition, we propose a new method for automatic combination of sample selection strategies (ACSESS) that leverages the strengths and complementary information of the individual strategies. The experimental results show that our method consistently outperforms the individual selection strategies, as well as the recently proposed method for selecting support examples for in-context learning. We also show a strong modality, dataset and approach dependence for the majority of strategies as well as their dependence on the number of shots - demonstrating that the sample selection strategies play a significant role for lower number of shots, but regresses to random selection at higher number of shots.

研究の動機と目的

• 画像およびテキストデータセットにおける少数ショット学習に、20種類の多様なサンプル選択戦略が与える影響を調査すること。
• 勾配ベースの少額ショット学習（例：メタラーニング、ファインチューニング）および文脈内学習におけるサンプル選択の体系的評価の不足を解消すること。
• 複数の選択戦略の補完的強みを活用するように、自動的に複数の戦略を統合する手法を開発すること。
• サンプル選択戦略のモダリティ、データセット、ショット数依存性を分析すること。
• サンプル選択が高ショット数によってほとんど効果がなくなる（無視できるか、ランダム選択に劣る）ようになる性能飽和点を同定すること。

提案手法

• ACSESSは、少額ショット学習性能への期待寄与度に基づき、関連するサンプル選択戦略のサブセットを特定する。
• 選択された戦略は重み付き投票を用いて統合され、重みは各戦略の現在の少額ショットタスクにおける予測利益に基づき学習または推定される。
• 最終選択の前に、各戦略の期待性能向上を検証セットで推定する。
• 均一な重み付けと適応的重み付けの両方の方式をサポートし、後者はタスク固有の特徴に基づき戦略の重要性を動的に調整する。
• フレームワークは、ProtoNets、MAML、ファインチューニング、および2つの大規模言語モデル（Mistral、Zephyr）を用いた文脈内学習の5つの少額ショット学習アプローチに適用される。
• 評価は8つの画像データセットおよび6つのテキストデータセットで実施され、複数のランダムシードにわたる結果の集約により、堅牢性を確保する。

実験結果

リサーチクエスチョン

• RQ1 20種類の異なるサンプル選択戦略は、14の多様なデータセットにまたがる5つの少額ショット学習アプローチに、どのように影響を与えるか？
• RQ2 個々の戦略に比べて、複数のサンプル選択戦略を組み合わせることで、少額ショット学習性能はどの程度向上するか？
• RQ3 サンプル選択戦略の性能は、異なるモダリティ（画像対テキスト）、データセット、および少額ショット学習アプローチでどのように変化するか？
• RQ4 ショット数の増加は、サンプル選択戦略の有効性にどのように影響するか？
• RQ5 どのショット数で、サンプル選択が無視できるか、またはランダム選択に劣るようになるか？

主な発見

• ACSESSは、すべての個々のサンプル選択戦略および最近のLENS手法を常に上回り、文脈内学習では最大5パーセンテージポイント、勾配ベースの少額ショット学習では最大3パーセンテージポイントの向上を達成する。
• 低ショット数（例：5〜10ショット）ではサンプル選択の影響が強く、最大3パーセンテージポイントの向上を示すが、高ショット数（平均30〜40ショット）ではランダム選択に劣化する。
• 勾配ベース学習では50ショット以上、文脈内学習では20ショット以上で、ショット数の増加による性能向上の効果が著しく低下し、入力テキスト長およびモデルのコンテキスト窓に強く依存する。
• 個々の戦略の有効性は、データセット、モデル、学習パラダイムによって顕著に異なるため、モダリティおよびアプローチ依存性が強い。
• ACSESSによる戦略の組み合わせは、特に多様な特性（多様性、不確実性、情報量）を組み合わせた場合に最も高い向上を示す。例：Cartography Hard + Easy + Ambiguous は、個々のバージョンを上回る性能を達成する。
• Forgetting、Glister、GraNd などの戦略は特定のモデル（例：ForgettingはMistralを1.22ポイント向上）で優れた性能を示すが、すべての設定で一貫した向上は得られない。