[論文レビュー] Self-Adaptive In-Context Learning: An Information Compression Perspective for In-Context Example Selection and Ordering

Zhiyong Wu, Yaoxiang Wang+2 more|arXiv (Cornell University)|Dec 20, 2022

Text and Document Classification Technologies被引用数 14

ひとこと要約

本稿では、最小記述長（MDL）原理を用いた情報圧縮の観点から、インスタンスレベルでコンテキスト例を選択・順序付けする、自己適応的インスタント学習という新しいフレームワークを提案する。標準的なICLに比べ40%の相対的改善を達成し、8つのNLPデータセットで強力なベースラインを上回り、ファインチューニングに近い性能と高いロバスト性を示した。

ABSTRACT

Despite the surprising few-shot performance of in-context learning (ICL), it is still a common practice to randomly sample examples to serve as context. This paper advocates a new principle for ICL: self-adaptive in-context learning. The self-adaption mechanism is introduced to help each sample find an in-context example permutation (i.e., selection and ordering) that can derive the correct prediction, thus maximizing performance. To validate the effectiveness of self-adaptive ICL, we propose a general select-then-rank framework and instantiate it with new selection and ranking algorithms. Upon extensive evaluation on eight different NLP datasets, our self-adaptive ICL method achieves a 40% relative improvement over the common practice setting. Further analysis reveals the enormous potential of self-adaptive ICL that it might be able to close the gap between ICL and finetuning given more advanced algorithms. Our code is released to facilitate future research in this area: https://github.com/Shark-NLP/self-adaptive-ICL

研究の動機と目的

• 標準的なインスタント学習（ICL）がランダムまたは固定された例の順序に依存するため、不安定で最適でない性能を示す問題に対処すること。
• 入力インスタンスごとに動的に例を選択・順序付けすることで、性能を最大化する新しいパラダイム「自己適応的ICL」を提案すること。
• 大規模な検証セットに強く依存し、メジャリティクラスバイアスを抱える、コーパスレベルのプロンプト最適化の限界を克服すること。
• 検証セットを必要とせず、インスタンスレベルの最適化を可能にする一般化された二段階フレームワーク（選択・次にランク付け）を開発すること。
• 自己適応的ICLが、ICLとファインチューニングの間の性能ギャップを顕著に縮小できることを示すこと。

提案手法

• 一般化された二段階の選択・次にランク付けのフレームワークを提案：まずヒューリスティックな選択（例：最近傍）で候補例を絞り込み、次にランク付けアルゴリズムで最適な例の順序を特定する。
• ランク付けの理論的基盤として、最小記述長（MDL）原理を採用し、入力、例、予測の総記述長が最小化される例の順序が最良であると定義する。
• 検索空間を小さくするために、初期の例選択に意味的類似度（例：文の埋め込み）を用いる。
• MDLに基づくスコアリングを用いて、選択された例の異なる順列を評価・ランク付けし、情報圧縮効率が最も高い順序を優遇する。
• 例の順序付けのNP困難な組み合わせ的性質に対処するため、効率と有効性のトレードオフを取る探索ベースの最適化戦略を導入する。
• インスタント学習のためのリトリーブセットを用い、ファインチューニングの必要なしに多様なNLPタスクで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ランダムまたは固定された順序に比べ、インスタンスレベルでの例の選択と順序付けが、インスタント学習の性能を顕著に向上させることができるか？
• RQ2 自己適応的ICLは、異なるモデルやデータセットにおいて、コーパスレベルのプロンプト最適化手法と比較して、ロバスト性と一般化性能に優れているか？
• RQ3 自己適応的ICLは、インスタント学習とファインチューニングの間の性能ギャップをどの程度縮小できるか？
• RQ4 MDLに基づくランク付け機構は、高性能な例の順序を識別する原理的かつ効果的な方法を提供するか？
• RQ5 本手法は、リトリーブセットの品質とサイズに対してどの程度感受的であり、多様なプロンプトテンプレートに一般化可能か？

主な発見

• 自己適応的ICLは、8つの多様なNLPデータセットで標準的なICLに比べ40%の相対的改善を達成し、強力なベースラインを顕著に上回った。
• モデルサイズ（350M～175Bパラメータ）の異なるモデルに対しても一貫した顕著な向上を示し、複雑なタスクではモデルサイズが大きくなるほど性能が着実に向上した。
• 事前学習言語モデル（OPT、LLaMAなど）の異なるモデルやさまざまなプロンプトテンプレートに対してもロバストで、一般化性能が優れていることが示された。
• ラベル空間が大きいか無限大のタスク（例：質問応答、多肢選択）では、特に性能向上が顕著で、従来のTopK選択では失敗するタスクでも有効だった。
• 例の順序付けが極めて重要であることが明らかになった——適切な順序付けがなければ、例の数を増やしても利得は次第に小さくなるため、構造的最適化の重要性が浮き彫りになった。
• 強力な性能を発揮する一方、リトリーブセットが小さい場合には性能向上が縮小する傾向にあり、最適な結果を得るためには高品質な候補例に依存していることが示された。