[論文レビュー] Compositional Exemplars for In-context Learning

Jiacheng Ye, Zhiyong Wu+3 more|arXiv (Cornell University)|Feb 11, 2023

Topic Modeling被引用数 24

ひとこと要約

CEIL は条件付き DPP を用いて文脈内の例の共起確率をモデル化し、対照学習目的で学習して、多様でありながら関連性の高いデモンストレーション集合を文脈内学習のために選択し、12 のタスク/データセットにわたって最先端の結果を達成し、転移性と構成性を示している。

ABSTRACT

Large pretrained language models (LMs) have shown impressive In-Context Learning (ICL) ability, where the model learns to do an unseen task via a prompt consisting of input-output examples as the demonstration, without any parameter updates. The performance of ICL is highly dominated by the quality of the selected in-context examples. However, previous selection methods are mostly based on simple heuristics, leading to sub-optimal performance. In this work, we formulate in-context example selection as a subset selection problem. We propose CEIL (Compositional Exemplars for In-context Learning), which is instantiated by Determinantal Point Processes (DPPs) to model the interaction between the given input and in-context examples, and optimized through a carefully-designed contrastive learning objective to obtain preference from LMs. We validate CEIL on 12 classification and generation datasets from 7 distinct NLP tasks, including sentiment analysis, paraphrase detection, natural language inference, commonsense reasoning, open-domain question answering, code generation, and semantic parsing. Extensive experiments demonstrate not only the state-of-the-art performance but also the transferability and compositionality of CEIL, shedding new light on effective and efficient in-context learning. Our code is released at https://github.com/HKUNLP/icl-ceil.

研究の動機と目的

• 手作業のヒューリスティクスに頼るのではなく、例の選択を最適化することで、堅牢な文脈内学習（ICL）を動機付ける。
• 文脈内の例同士の相互関係をモデル化し、冗長性を避け、タスクのカバレッジを向上させる。
• テスト入力に条件付けられたエグゼンプルのサブセットを同時に選択する、学習可能なリトリーバを開発する。
• 対照学習目的を通じて、エグゼンプルサブセットの品質をLMのガイダンスと整合させる。

提案手法

• テスト入力への関連性と exemplars 間の多様性を組み合わせる条件付き DPP カーネルを定義する。
• 入力と exemplars の学習ベースの埋め込みを組み込み、DPP カーネルを計算する。関連性と多様性のバランスを取るためのトレードオフパラメータ lambda を導入する。
• LM由来のサブセットスコアを用いて、対照的損失（InfoNCE またはペアワイズマージン）で学習し、例のサブセットをランク付けする。
• テスト時の効率的なサブセット選択のために、グリーディアルゴリズム（Cholesky 更新を伴う）によるMAP推論を実行する。
• 実データに基づく正解のエグゼンプル集合を必要とせずに、候補サブセットをサンプリングしてリトリーバを訓練するための2段階のリトリーバル設定を用いる。）

実験結果

リサーチクエスチョン

• RQ1 条件付き DPP ベースのリトリーバが、例間の相互作用を捉えて ICL の性能を改善できるか？
• RQ2 例の選択における関連性と多様性を共同でモデリングすることは、独立したリトリーバ手法よりも下流の結果を改善するか？
• RQ3 CEIL で訓練された exemplars は異なる LM やデータセット間で転用可能か、そして CEIL は exemplars の構成性を明らかにできるか？
• RQ4 exemplar のサブセットサイズとトレードオフパラメータがタスク全体の性能にどのような影響を与えるか？

主な発見

• CEIL は NLI、感情分析、常識推論、コード生成を含む 12 のデータセット・7 のタスク全体で、学習なしベースラインおよび学習ベースラインを大幅に上回る。
• CEIL は LM（GPT-Neo、GPT-2 XL、Codex）間およびデータセット間の転移性を示し、一部のケースで学習なしのデプロイを可能にする。
• CEIL は本質的に exemplars の組み合わせを学習し、構成的意味解析タスクの性能を向上させ、構成分割で利点を示す。
• 小規模な exemplar セットは多くのタスクで有利であり、制約されたプロンプト長でも CEIL は高い性能を維持する。
• EPR および TopK-BERT と比較して、CEIL はほとんどのタスクで一貫した絶対的向上を達成し、NLI タスクで特に顕著な向上を示す。