[論文レビュー] Dr.ICL: Demonstration-Retrieved In-context Learning

Man Luo, Xin Xu+6 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用数 7

ひとこと要約

この論文では、BM25 や GTR などの既成品のリtriever、またはタスク固有のデモンストレーションリtrieverを用いて意味的に類似したデモンストレーションを検索することで、LLMのパフォーマンスを向上させるデモンストレーション検索型のコンテキスト内学習フレームワーク、Dr.ICL を紹介する。検索ベースの ICL は、特にワンショット設定においてランダムなデモンストレーションを上回ることを示し、インstruct-ファインチューニング済みモデルや Chain-of-Thought プロンプティングに対してもパフォーマンスを向上させる。

ABSTRACT

In-context learning (ICL), teaching a large language model (LLM) to perform a task with few-shot demonstrations rather than adjusting the model parameters, has emerged as a strong paradigm for using LLMs. While early studies primarily used a fixed or random set of demonstrations for all test queries, recent research suggests that retrieving semantically similar demonstrations to the input from a pool of available demonstrations results in better performance. This work expands the applicability of retrieval-based ICL approaches by demonstrating that even simple word-overlap similarity measures such as BM25 outperform randomly selected demonstrations. Furthermore, we extend the success of retrieval-based ICL to instruction-finetuned LLMs as well as Chain-of-Thought (CoT) prompting. For instruction-finetuned LLMs, we find that although a model has already seen the training data at training time, retrieving demonstrations from the training data at test time yields better results compared to using no demonstrations or random demonstrations. Last but not least, we train a task-specific demonstration retriever that outperforms off-the-shelf retrievers.

研究の動機と目的

• 入力クエリと意味的に類似したデモンストレーションをデモンストレーションプールから検索することで、ランダムまたは固定のデモンストレーションに代えて、コンテキスト内学習（ICL）のパフォーマンスを向上させること。
• トレーニングデータを推論時に再利用することで、インストラクションファインチューニング済み LLM に対してもパフォーマンスが向上するかを調査すること。
• Dr.ICL と Chain-of-Thought（CoT）のような高度なプロンプティング技術との相乗効果を評価すること。
• 既成品のリtriever より優れた性能を示すタスク固有のデモンストレーションリtriever を開発・訓練すること。
• リtrieve によるパフォーマンス向上が、ラベルの重複によるものか、それとも真正の意味的類似性によるものかを評価し、単純なラベル同定が原因でないことを排除すること。

提案手法

• 入力クエリと意味的に類似したデモンストレーションを、既成品のスパース（BM25）およびディンス（GTR）リtriever を用いて検索する。
• 既成品のリtriever が検索した候補デモンストレーションを再ランク付けするために言語モデルを用い、デモンストレーションリtrieバルのトレーニングデータセットを構築する。
• 上位および下位ランクのデモンストレーション候補からポジティブおよびハードネガティブ例を構築し、タスク固有のデモンストレーションリtrieバを訓練する。
• トレーニング済みのリtrieバを用いて推論時に最適なデモンストレーションを選択し、コンテキスト内学習のプロンプトに統合する。
• Dr.ICL を Chain-of-Thought（CoT）プロンプティングと組み合わせ、推論タスクにおけるパフォーマンス向上を評価する。
• 少数ショット設定では多数決を用い、正解との回答の重複度を分析することで、パフォーマンス向上の原因がラベルバイアスでないことを排除する。

Figure 1: The average performance of PaLM and Flan-PaLM on five datasets, with one and few-shot ICL. Retrieved demonstrations given by either BM25 or GTR yield better performance than random demonstrations.

実験結果

リサーチクエスチョン

• RQ1 既成品のリtrieバ（BM25、GTR）を用いたリtrieveベースの ICL は、ワンショットおよび少数ショット ICL において、ランダムまたは固定のデモンストレーションを上回るか？
• RQ2 トレーニングデータからのデモンストレーションを推論時にリtrieve することにより、インストラクションファインチューニング済み LLM においてもパフォーマンスが向上するか、特にトレーニング時にデータを既に見たモデルに対しても同様か？
• RQ3 Dr.ICL は、Chain-of-Thought（CoT）のような高度なプロンプティング技術をさらに強化できるか？
• RQ4 モデルが生成した再ランク付け信号に基づいてトレーニングされたタスク固有のデモンストレーションリtrieバは、既成品のリtrieバを上回る性能を示すか？
• RQ5 リtrieve によるパフォーマンス向上は、ラベルの重複によるものか、それともクエリとデモンストレーションの真正の意味的類似性によるものか？

主な発見

• 既成品のリtrieバ（BM25 および GTR）は、ワンショットおよび少数ショット ICL において、常にランダムなデモンストレーションを上回る。GTR は BM25 よりもより代表的な例を検索する傾向にある。
• Flan-PaLM などのインストラクションファインチューニング済み LLM に対し、推論時にトレーニングデータのデモンストレーションをリtrieve することにより、デモンストレーションなしまたはランダムなデモンストレーションを使用する場合よりもパフォーマンスが向上する。これは、モデルがトレーニング時にデータを既に見たにもかかわらず同様に向上が得られる。
• Dr.ICL を Chain-of-Thought（CoT）プロンプティングと組み合わせることで、GSM8k、StrategyQA、AQuA におけるワンショットおよび少数ショット設定でパフォーマンスが向上し、高度なプロンプティング技術との相乗効果が示された。
• 再ランク付けされた候補に基づいてトレーニングされたタスク固有のデモンストレーションリtrieバは、既成品のリtrieバを上回る性能を示し、ワンショット ICL において NQ で 1.4 ポints、GSM8k で 1.6 ポイントの絶対的向上を達成した。
• リtrieve によるパフォーマンス向上は、ラベルの重複によるものではなく、ほとんどのデータセットで低い回答の重複率が示されたことから、真正の意味的類似性が向上の原因であると示された。
• 特に、トレーニング済みのリtrieバによる最も顕著な向上は、ワンショット ICL で観察され、低レイテンシおよび低メモリ使用量が重要な状況であるため、実世界の展開に非常に適している。

Figure 2: Pipeline for training demonstration retriever and inference (R for a neural retriever). Figure on the left shows the procedure of obtaining data to train a demonstration retriever: an off-the-shelf retriever takes an input query $x_{q}$ and retrieves top- $k$ (e.g., 100) demonstrations can