[論文レビュー] Navigating the Grey Area: How Expressions of Uncertainty and Overconfidence Affect Language Models

Kaitlyn Zhou, Dan Jurafsky+1 more|arXiv (Cornell University)|Feb 26, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿は、知識的マーク（確信、不確実性、証拠性を示す表現）がゼロショット質疑応答タスクにおける言語モデルの正確性に与える影響を調査する。50種類の異なる知識的マークをプロンプトに組み込むことで、高確実性の表現（例：「私は確信しています」）は低確実性表現よりもモデルの正確性を7%低下させるのに対し、『Wikipediaによると』のような証拠性マークは性能を向上させる。これは、モデルが事前学習データ内のパターンを模倣しているが、知識的状態についての推論を行っているわけではないことを示唆している。

ABSTRACT

The increased deployment of LMs for real-world tasks involving knowledge and facts makes it important to understand model epistemology: what LMs think they know, and how their attitudes toward that knowledge are affected by language use in their inputs. Here, we study an aspect of model epistemology: how epistemic markers of certainty, uncertainty, or evidentiality like "I'm sure it's", "I think it's", or "Wikipedia says it's" affect models, and whether they contribute to model failures. We develop a typology of epistemic markers and inject 50 markers into prompts for question answering. We find that LMs are highly sensitive to epistemic markers in prompts, with accuracies varying more than 80%. Surprisingly, we find that expressions of high certainty result in a 7% decrease in accuracy as compared to low certainty expressions; similarly, factive verbs hurt performance, while evidentials benefit performance. Our analysis of a popular pretraining dataset shows that these markers of uncertainty are associated with answers on question-answering websites, while markers of certainty are associated with questions. These associations may suggest that the behavior of LMs is based on mimicking observed language use, rather than truly reflecting epistemic uncertainty.

研究の動機と目的

• 自然的な不確実性および確実性の表現が、質問応答タスクにおける言語モデルの性能に与える影響を理解すること。
• ハッジ、事実的動詞、証拠性表現を含む、知識的マークの言語的タイプロジーを構築し、その影響を体系的に評価すること。
• 言語モデルが知識的マークを意味的意味ではなく、事前学習データ内の統計的パターンに基づいて解釈しているかどうかを調査すること。
• 高確実性表現を用いることで正確性が低下するという直感に反するモデル行動の原因を解明すること。
• 未検証の帰属や不一致する知識的信号のリスクを特定することで、LMの安全な展開を支援すること。

提案手法

• 著者らは、50種類の知識的マークのタイプロジーを構築し、ハッジ、強化子（確実性マーク）、事実的動詞、証拠性表現に分類した。
• トリアル形式の質問のためのゼロショットプロンプトにこれらのマークを組み込み、標準的なプロンプト「フランスの首都は何か？」を「私は確実にそれは…です」といった形に変換した。
• モデルのパフォーマンスは、質問応答ベンチマーク上で標準的な正確性指標を用いて評価され、異なる知識的マークタイプ間での応答を比較した。
• 代表的な事前学習データセットのトレーニングデータを分析し、知識的マークと答えの種類との関連を検討した。
• 言語的パターンが事前学習データにどのように現れているかを追跡するために、定性的および定量的分析を実施した。
• 実験にはゼロショットプロンプトに加え、モデルによる知識的マークの自己生成の初期分析も含めた。

実験結果

リサーチクエスチョン

• RQ1 ハッジ、事実的動詞、証拠性表現といった、知識的マークの異なるタイプが、ゼロショット質問応答タスクにおける言語モデルの正確性にどのように影響するか？
• RQ2 高確実性表現（例：「私は確信しています」）をプロンプトに組み込むと、低確実性表現（例：「私は思う」）よりもモデルの正確性が低下するか？
• RQ3 言語モデルの応答は、知識的マークの意味的意味よりも、事前学習データ内の統計的共起パターンに強く影響を受けるか？
• RQ4 事実的動詞や強化子は、自信を示しているにもかかわらず、なぜモデルのパフォーマンスを低下させるのか？
• RQ5 モデルは知識的状態についての推論ではなく、知識的表現における自然言語のパターンをどれほど模倣しているのか？

主な発見

• 高確実性表現（例：「私は確信しています」や「私は100％確信しています」）は、低確実性表現（例：「私は思う」）と比較して、モデルの正確性を7%低下させる。
• 事実的動詞（例：「私たちはそれが〜であると認識しています」）は、モデルのパフォーマンスを著しく低下させる。これは、誤った自信の信号を引き起こす可能性があることを示唆している。
• 証拠性マーク（例：「Wikipediaによるとそれは〜です」）は、モデルの正確性を向上させる。これは、これらのマークが有用な信号源として機能している可能性を示している。
• 事前学習データセットの分析から、不確実性マークはQAウェブサイトの答えとより頻繁に関連しているのに対し、確実性マークは質問と関連していることが判明。これは、モデル行動の背後にあるデータ駆動型の起源を示している。
• 高確実性プロンプトが意図に反して性能を低下させるにもかかわらず、モデル行動は真の知識的推論ではなく、トレーニングデータ内の統計的パターンを反映している。
• 知識的マークの自己生成は依然として適切に補正されておらず、確実性マークよりもやや良好な補正が見られる不確実性表現の語彙的表現が優れている。