[論文レビュー] "According to ...": Prompting Language Models Improves Quoting from Pre-Training Data

Orion Weller, Marc Marone+4 more|arXiv (Cornell University)|May 22, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、Wikipedia などの事前学習データから直接引用するようモデルに促すことで、大規模言語モデルの事実的根拠付けを向上させる「according-to prompting」を導入する。新規の指標であるQUIP-Scoreを用いて、このようなプロンプトは正確な引用一致率を5–105%向上させることを示しており、特にモデルサイズが増大するにつれて、下流タスクのパフォーマンスを維持または向上させる。

ABSTRACT

Large Language Models (LLMs) may hallucinate and generate fake information, despite pre-training on factual data. Inspired by the journalistic device of "according to sources", we propose according-to prompting: directing LLMs to ground responses against previously observed text. To quantify this grounding, we propose a novel evaluation metric (QUIP-Score) that measures the extent to which model-produced answers are directly found in underlying text corpora. We illustrate with experiments on three corpora (Wikipedia, PubMed, and the U.S. legal tax code) that these prompts improve grounding under our metrics, with the additional benefit of often improving end-task performance. Furthermore, prompts that ask the model to decrease grounding (or to ground to other corpora) indeed decrease QUIP-Score, indicating the ability of LLMs to increase or decrease grounded generations on request.

研究の動機と目的

• 大規模言語モデル（LLM）が事実データで事前学習されているにもかかわらず、依然として発生する幻覚問題に対処すること。
• 自然言語プロンプトが、LLM が記憶した事前学習コーパスからより多く引用するように誘導できるかどうかを調査すること。
• モデル出力が事前学習データにどの程度根拠付けられているかを測る、高速で効率的かつプライバシーを守る方法を開発すること。
• プロンプトが、指示に応じて根拠付けを増加または減少させられることを評価すること。
• モデルサイズやデータセットのスケーリングに応じて、根拠付けの向上がどのように影響を受けるかを評価すること。

提案手法

• LLM が事前学習データから引用するよう促すために、'According to Wikipedia' などのフレーズを含むプロンプト戦略「according-to prompting」を提案する。
• 生成物の一部が事前学習コーパス内のスパンと正確に一致する割合を測定する n-gram 重複に基づく新規指標であるQUIプスコアを導入する。
• Data Portraits を用いて、Wikipedia のような大規模コーパスに対して、ミリ秒未満のサブミリ秒レベルの迅速なメンバーシップテストを可能にし、QUIP-Score の計算を効率化する。
• オープンドメイン質問応答（ODQA）タスクにおいて、LLM がWikipedia に根拠づけるように誘導するか、逆に根拠づけを避けるように誘導する人間が作成したプロンプトを収集・評価する。
• 複数のモデル（オープンソースおよびクローズドソース）、データセット、モデルサイズを用いた実験を通じて、根拠付けとパフォーマンスのトレードオフを評価する。
• エンティティの人気度、共起頻度、インstruct fine-tuning などの要因とQUIP-Scoreとの相関関係を分析する。

実験結果

リサーチクエスチョン

• RQ1 LLM に 'According to Wikipedia' などのフレーズを使用するようプロンプトすることで、その出力が事前学習データにどの程度根拠づけられるかが顕著に向上するか？
• RQ2 プロンプトによる根拠づけの向上が、事実的一致性および下流タスクのパフォーマンスに測定可能な改善をもたらすか？
• RQ3 プロンプトを用いて、Wikipedia などの特定のコーパスへの根拠づけを減少させることができ、その結果パフォーマンスに影響を与えるか？
• RQ4 モデルサイズが、根拠づけの向上を促すためのaccording-to prompting の有効性にどのように影響するか？
• RQ5 QUIP-Score は、LLM の生成物における根拠づけを測る信頼性がありスケーラブルな指標とみなせるか？

主な発見

• According-to prompting は、複数のデータセットおよびモデルにおいて、モデルの生成物とWikipedia 間の一致率を5–105%向上させる。
• この根拠づけの向上は、GPT-3.5 や GPT-J を含むオープンソースおよびクローズドソースの両方のモデルで一貫して観察される。
• 反根拠づけプロンプト（Wikipedia への根拠づけを妨げる、または他のソースに誘導するもの）は、QUIP-Score を顕著に低下させ、Wikipedia 依存のタスクにおけるパフォーマンスを劣化させる。
• モデルサイズが増大するにつれてQUIP-Scoreが上昇するため、より大きなモデルは根拠づけのためのプロンプトに対してより反応しやすいことが示唆される。
• QUIP-Score はエンティティの人気度および質問内での共起頻度と正の相関を示しており、一般的に参照される事実の再現性が高まっていることを示唆する。
• 本手法はドメインに依存せず、Data Portrait が構築された任意のコーパスに適用可能であり、クローズドソースモデルにおける根拠づけのプライバシー保護型評価を可能にする。