[論文レビュー] Still No Lie Detector for Language Models: Probing Empirical and Conceptual Roadblocks

Benjamin A. Levinstein, Daniel A. Herrmann|arXiv (Cornell University)|Jun 30, 2023

Topic Modeling参考文献 34被引用数 5

ひとこと要約

この論文は、大規模言語モデル（LLMs）の内部的信念を測定することで、嘘を検出できるかどうかを調査し、2つの既存のプロービング手法を評価した結果、実証的および概念的に両方で効果がなかった。LLMが機能的理由から真実を追跡する可能性はあり得るが、現在の手法は一般化に失敗し、信念を信頼性高く測定するための概念的根拠も欠如しており、LLMにおける信頼できる偽り検出器は存在しない。

ABSTRACT

We consider the questions of whether or not large language models (LLMs) have beliefs, and, if they do, how we might measure them. First, we evaluate two existing approaches, one due to Azaria and Mitchell (2023) and the other to Burns et al. (2022). We provide empirical results that show that these methods fail to generalize in very basic ways. We then argue that, even if LLMs have beliefs, these methods are unlikely to be successful for conceptual reasons. Thus, there is still no lie-detector for LLMs. After describing our empirical results we take a step back and consider whether or not we should expect LLMs to have something like beliefs in the first place. We consider some recent arguments aiming to show that LLMs cannot have beliefs. We show that these arguments are misguided. We provide a more productive framing of questions surrounding the status of beliefs in LLMs, and highlight the empirical nature of the problem. We conclude by suggesting some concrete paths for future work.

研究の動機と目的

• 既存のプロービング手法が、大規模言語モデル（LLMs）における信念を信頼性高く測定できるかどうかを評価すること。
• 哲学的議論がそれとは反対であるとしても、LLMに信念が存在するとみなせるかどうかを調査すること。
• LLMにおける効果的な嘘検出を妨げる実証的および概念的障壁を同定すること。
• 実証的調査に基づいた、信念に類似した状態を研究するより生産的なフレームワークを提言すること。

提案手法

• 制御された、真偽が明確に割り当て可能なプロンプトを用いて、AzariaとMitchell（2023）の手法とBurnsら（2022）の手法の両方を評価すること。
• 多様で分布外の例を用いて、プローブの一般化性能をテストすることで、耐性を評価すること。
• 確率的ラベルを用いた教師あり学習が可能な、確率的確率が既知の状況（例：確率的確率が分かっているウエルンモデル）を用いた、不確実性下でのLLMプローブ。
• LLMが世界モデルに対応する可能性のある潜在変数を使用しているかどうかを分析し、それらの真実適合性（truth-aptitude）を評価すること。
• LLMの信念についての議論を、哲学的問題ではなく、実証的問題として再定式化し、機能的真実追跡に焦点を当てる。
• 潜在変数の特徴と真実追跡表現との対応関係を明らかにするための、将来的な研究ルートを提言すること。

実験結果

リサーチクエスチョン

• RQ1 既存のプロービング手法は、LLMが事実的文について信念を持っているかどうかを信頼性高く検出できるか？
• RQ2 なぜ現在のプロービング手法は、異なる事実的文脈に一般化できないのか？
• RQ3 LLMは、明示的に訓練されていなくても、信念に類似した状態を支持するような真実を追跡しているのか？
• RQ4 プロービング手法がLLMの信念を正確に測定できない、概念的または構造的障壁は何なのか？
• RQ5 LLMの潜在変数は、世界モデルの表現として解釈できるのか？ もしそうなら、それらは真実適合性を有するのか？

主な発見

• AzariaとMitchell（2023）およびBurnsら（2022）のプロービング手法は、分布外の事実的文に一般化できないため、耐性が低いことが判明した。
• プロンプトに明確な真偽値がある場合でさえ、プローブはLLMの内部的信頼度や信念状態を信頼性高く捉えていない。
• LLMが信念を持てないという理論的主張（テキスト予測のみを実行するため）は、哲学的誤謬に基づくものであり、したがって誤った主張である。
• 最適化の圧力のおかげで、明示的な世界モデルがなくても、LLMは機能的に真実を追跡する可能性があり、信念に類似した行動は妥当であると考えられる。
• 現在のところ、LLMの信念を測定する信頼できる方法は存在せず、現在の手法は概念的に欠陥を抱えているため、信頼できる偽り検出器は存在しない。
• 将来的な研究は、潜在変数の実証的分析に注力すべきであり、それらが真実適合性を持つ表現をサポートするかどうかを明らかにすべきである。