[論文レビュー] Towards Understanding In-Context Learning with Contrastive Demonstrations and Saliency Maps

Fuxiao Liu, Paiheng Xu+3 more|arXiv (Cornell University)|Jul 11, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿は、対照的デモ（対照的例示）と感度マップを用いて、大規模言語モデル（LLM）における文脈内学習（ICL）のメカニズムを解明する。入力-ラベルペアのどの部分が予測を駆動しているかを分析した結果、ラベルの反転は正解ラベルの感度を著しく低下させ、入力の中立化はラベル反転ほど顕著な影響を及ぼさない。また、補足的説明は一貫して性能を向上させない。これらは、ICLの有効性において事前学習済み知識とタスク固有の設計が果たす役割を示している。

ABSTRACT

We investigate the role of various demonstration components in the in-context learning (ICL) performance of large language models (LLMs). Specifically, we explore the impacts of ground-truth labels, input distribution, and complementary explanations, particularly when these are altered or perturbed. We build on previous work, which offers mixed findings on how these elements influence ICL. To probe these questions, we employ explainable NLP (XNLP) methods and utilize saliency maps of contrastive demonstrations for both qualitative and quantitative analysis. Our findings reveal that flipping ground-truth labels significantly affects the saliency, though it's more noticeable in larger LLMs. Our analysis of the input distribution at a granular level reveals that changing sentiment-indicative terms in a sentiment analysis task to neutral ones does not have as substantial an impact as altering ground-truth labels. Finally, we find that the effectiveness of complementary explanations in boosting ICL performance is task-dependent, with limited benefits seen in sentiment analysis tasks compared to symbolic reasoning tasks. These insights are critical for understanding the functionality of LLMs and guiding the development of effective demonstrations, which is increasingly relevant in light of the growing use of LLMs in applications such as ChatGPT. Our research code is publicly available at https://github.com/paihengxu/XICL.

研究の動機と目的

• 異なるデモ構成要素の寄与度を分析することで、大規模言語モデル（LLM）における文脈内学習（ICL）のメカニズムを理解すること。
• ラベルの反転、入力の中立化、追加の説明といった対照的デモが、モデルの予測と感度パターンに与える影響を調査すること。
• 特に感情分類タスクにおいて、補足的説明がICL性能を一貫して向上させるかどうかを評価すること。
• モデルのスケール（例：GPT-2 対 InstructGPT）の違いに応じて、デモの摂動に対する感度パターンの違いを比較すること。
• ChatGPTのようなモデルが急速に普及する中で、LLM向けに効果的なデモを構築するための実務的知見を提供すること。

提案手法

• 正解ラベルの反転、入力における感情を示す語句の中立化、および元の例示に補足的説明を追加することで、対照的デモを構築する。
• 勾配ベース（Integrated Gradients）および摂動ベース（LIME）の感度マップ手法を用い、モデル予測におけるトークンレベルの重要度を定量化する。
• 元のデモと対照的デモの両方における感度マップを定性的および定量的に分析し、特徴の重要度を比較する。
• SST-2データセットを用いて、感情分類タスクにおいて、Minら（2022）、Wei ら（2023）の先行研究の結果を再現する。
• 20件のテスト例を対象に、平均感度スコアの差の統計的有意性をT検定で評価する。
• 各例に対して5つの近傍点を用いてLIMEを適用し、局所的でインスタンスレベルの説明を生成するが、計算およびAPI制限のため限界を認識する。

実験結果

リサーチクエスチョン

• RQ1 デモにおける正解ラベルの反転が、LLMの予測におけるラベルトークンの感度にどのように影響するか？
• RQ2 入力テキストにおける感情を示す語句の中立化が、モデル予測への寄与度をどの程度低下させるか？
• RQ3 デモにおける補足的説明は、感情分類タスクにおいて一貫してICL性能を向上させるか？
• RQ4 同じ摂動に対して、小さいモデル（例：GPT-2）と大きなモデル（例：InstructGPT）の間で感度パターンにどのような違いが生じるか？
• RQ5 デモ構成要素を摂動した際、事前学習済み知識が予測を駆動する役割を果たす割合はどの程度か？

主な発見

• ラベルを反転させた後、デモにおける正解ラベルの感度が顕著に低下し、20件のテスト例を対象にT検定でp < 0.001が得られた。これは、モデルがもはや反転したラベルに依存していないことを示している。
• 入力における感情を示す語句のうち立を中立化すると、元の語句と比較して平均感度スコアが低くなるが、GPT-2ではp < 0.001の有意差が得られ、モデルが依然として事前学習済み知識に依存していることを示している。
• InstructGPTでは、元の語句と中立化された語句の間で感度の差が顕著でない（p = 0.17）ことが判明。これは、LIMEによるスパースな感度マップ（多くのゼロを含む）が要因と考えられる。
• GPT-2では、20件の例のうち16件で補足的説明の平均感度スコアが元のレビュー語句と同等またはそれ以上であったが、感情分類の性能は向上しなかった。
• 説明トークンの感度は、平均でレビュー語句の90%に達しており、注意機構において入力と同等の重要性を持つことが示されたが、性能向上には寄与しなかった。
• InstructGPTのような大規模モデルは、ラベルを反転させた際にも、事前知識を上書きする能力を示す「出現的」能力を有している。一方、GPT-2のような小規模モデルではそのような能力が見られない。これは先行研究の結果と整合的である。