[論文レビュー] Finding Support Examples for In-Context Learning

Xiaonan Li, Xipeng Qiu|arXiv (Cornell University)|Feb 27, 2023

Topic Modeling被引用数 7

ひとこと要約

本論文は、LENSと呼ばれる二段階のフィルタ後探索法を提案し、イン-context学習(I CL)のタスク代表サポート例を選択して性能を改善する。まずInfoScoreを用いて個別情報量の高い例をフィルタ링し、次に多様性を考慮した探索で性能の良い例の順列を見つける。

ABSTRACT

Additionally, the strong dependency among in-context examples makes it an NP-hard combinatorial optimization problem and enumerating all permutations is infeasible. Hence we propose LENS, a fiLter-thEN-Search method to tackle this challenge in two stages: First we filter the dataset to obtain informative in-context examples individually. Specifically, we propose a novel metric, InfoScore, to evaluate the example's in-context informativeness based on the language model's feedback, and further propose a progressive filtering process to filter out uninformative examples. Then we propose diversity-guided example search which iteratively refines and evaluates the selected example permutations, to find examples that fully depict the task. The experimental results show that LENS significantly outperforms a wide range of baselines.

研究の動機と目的

• ICL のためのタスク代表サポート例を選択する問題定義.
• annotatedデータから情報量が高く多様なインコンテキスト例を特定する二段階法の提案.
• 本手法が複数のテキスト分類タスクでベースラインおよび従来のコアセット手法を上回ることの実証.
• サポート例の順序感度やモデル間の転送性など、サポート例の性質の分析.
• 今後のICL固有の例選択研究への示唆と潜在的な方向性の提供。

提案手法

• Stage 1: InfoScoreを用いた情報量の高い例のフィルタリング。言語モデルのフィードバックに基づくインコンテキスト情報量を測定。
• データの増分サブセット上でInfoScoreを段階的に計算する効率的なフィルタリング。
• Stage 2: 多様性を導くサンプル探索。フィルタ済み例の順列をビームサーチ風の手法で refine し、多様性を考慮して評価（s(e,E') および f(e)）する。
• GPT2-L 上での評価とGPT2-M、GPT2-XL、GPT-Neo-2.7B への転移テスト。
• 順列選択を導くための小規模検証セットの利用と順序効果を緩和するランダムシャッフル。
• ICL の組合せ最適化問題のNP困難性に対応する二段階設計に基づくGrounding。
• サポート例と正解ラベルの重要性の分析。

実験結果

リサーチクエスチョン

• RQ1 二段階のフィルタ→探索アプローチは、ICL のタスク代表サポート例を安定して同定できるか？
• RQ2 サポート例はインコンテキストの順序依存性をランダムサンプルと比較して低減できるか？
• RQ3 サポート例の正解ラベルと入力構造はICL性能にとって重要か？
• RQ4 サポート例は異なるサイズ・事前学習コーパスを持つモデル間で転移的に有効か？
• RQ5 ハイパーパラメータは性能と頑健性にどう影響するか？

主な発見

• LENSはGPT2-Lで複数のテキスト分類データセットにおいて広範囲のベースラインより顕著に高い性能を示す。
• サポート例はランダムな例よりも異なる順序に対して安定した性能を示す。
• 正解ラベルはサポート例にとって重要で、ランダム例はラベルに対する感度が低い。
• サポート例は異なるLMs（GPT2-M、GPT2-XL、GPT-Neo-2.7B）間で効果的に転移する。
• コアセット型の勾配ベース手法はICLにおいてランダムベースラインにわずかな利得しかもたらさず、ICL固有の戦略の必要性を示す。
• 二段階アプローチ（InfoScoreフィルタリング＋多様性指向の探索）は本質的であり、第二段階を除くと性能が低下する。順列選択における多様性の価値を示す。