[論文レビュー] In-context Learning with Retrieved Demonstrations for Language Models: A Survey

Man Luo, Xin Xu+3 more|arXiv (Cornell University)|Jan 21, 2024

Topic Modeling被引用数 6

ひとこと要約

RetICLの包括的調査では、取得デモンストレーションを含む設計選択肢を概説し、取得・コーパス・訓練・推論戦略を比較するとともに22件の重要研究を対比する。

ABSTRACT

Language models, especially pre-trained large language models, have showcased remarkable abilities as few-shot in-context learners (ICL), adept at adapting to new tasks with just a few demonstrations in the input context. However, the model's ability to perform ICL is sensitive to the choice of the few-shot demonstrations. Instead of using a fixed set of demonstrations, one recent development is to retrieve demonstrations tailored to each input query. The implementation of demonstration retrieval is relatively straightforward, leveraging existing databases and retrieval systems. This not only improves the efficiency and scalability of the learning process but also has been shown to reduce biases inherent in manual example selection. In light of the encouraging results and growing research in ICL with retrieved demonstrations, we conduct an extensive review of studies in this area. In this survey, we discuss and compare different design choices for retrieval models, retrieval training procedures, and inference algorithms.

研究の動機と目的

• 大規模言語モデルにとってICLがなぜ価値があり、固定デモンストレーションにはどのような限界があるのかを動機づける。
• 各クエリごとにデモンストレーションを動的に取得するRetICLパラダイムを要約する。
• 取得目標・推論戦略・取得コーパスの設計選択を検討する。
• 22件の重要論文を分類・統合して、RetICLの現状と今後の方向性を整理する。

提案手法

• ICL問題を定義し、リトリーバーが各クエリに対してデモを選択するRetICLパラダイムを紹介する。
• 取得目標（類似性と多様性）がデモの選択に与える影響を調査する。
• デモを組み立てるための取得推論戦略（one-shot、クラスタリング、反復）を説明する。
• 取得コーパスの種類（in-domain、mix-domain、cross-domain、unlabeled/generated data、free-form）とそれらの含意を詳述する。
• 既製のリトリーバー（BM25、文エンベディング、デュアルエンコーダ）とファインチューニング/学習済みリトリーバーを検討する。
• LLMシグナル、報酬モデル、ランキング目標を用いたデモンストレーションリトリーバーの訓練データ収集を説明する。

Figure 1: Structure of the Survey.

実験結果

リサーチクエスチョン

• RQ1 RetICLにおける retrieved demonstrations の有効性に影響を与える主な設計選択は何か？
• RQ2 取得目標（類似性 vs 多様性）がタスクやドメイン全体のパフォーマンスにどう影響するか？
• RQ3 どの推論戦略とコーパス設定が retrieved demonstrations を用いた堅牢なインコンテキスト学習を最もよく支援するか？
• RQ4 既成の vs ファインチューニング済みデモリトリーバーの有効性とコストの比較は？
• RQ5 LLMシグナルを用いたデモリトリーバーの構築と訓練の実用的な指針は何か？

主な発見

• RetICLは各クエリに応じてデモを適応させることで、静的デモアプローチを一貫して上回る。
• デモの多様性と網羅性は重要であり、特にモデルが出力空間に不慣れな場合には重要。
• 取得戦略（one-shot、クラスタリング、反復）は取得デモの品質と補完性に影響を与える。
• さまざまな取得コーパス（in-domain、cross-domain、mix-domain、unlabeled/generated）は、注釈コストと性能のトレードオフを提供する。
• タスク固有のシグナルで訓練されたファインチューニング済みデモンストレーションリトリーバーは、既製のリトリーバーより利得を得られることがある。
• LLMベースのシグナルとランキング目的を用いてリトリーバーを訓練することで、タスクに適合したデモンストレーション選択を実現できる。