[論文レビュー] Truth is Universal: Robust Detection of Lies in LLMs

Lennart Bürger, Fred A. Hamprecht+1 more|arXiv (Cornell University)|Jul 3, 2024

Law, Economics, and Judicial SystemsEconomics, Econometrics and Finance被引用数 3

ひとこと要約

本稿では、大規模言語モデル（LLMs）のモデル活性化における普遍的な二次元真実部分空間を特定することで、ロバストで汎用的な偽り検出手法を提案する。この手法、Truth-Tuned Projection Detector（TTPD）は、多様なトピックや文の種別にわたって真実と偽りを分離する一般化真実方向（$\mathbf{t}_G$）を活用し、単純な文では94％、現実世界のロールプレイングにおける偽りでは95％の精度を達成する。

ABSTRACT

Large Language Models (LLMs) have revolutionised natural language processing, exhibiting impressive human-like capabilities. In particular, LLMs are capable of "lying", knowingly outputting false statements. Hence, it is of interest and importance to develop methods to detect when LLMs lie. Indeed, several authors trained classifiers to detect LLM lies based on their internal model activations. However, other researchers showed that these classifiers may fail to generalise, for example to negated statements. In this work, we aim to develop a robust method to detect when an LLM is lying. To this end, we make the following key contributions: (i) We demonstrate the existence of a two-dimensional subspace, along which the activation vectors of true and false statements can be separated. Notably, this finding is universal and holds for various LLMs, including Gemma-7B, LLaMA2-13B, Mistral-7B and LLaMA3-8B. Our analysis explains the generalisation failures observed in previous studies and sets the stage for more robust lie detection; (ii) Building upon (i), we construct an accurate LLM lie detector. Empirically, our proposed classifier achieves state-of-the-art performance, attaining 94% accuracy in both distinguishing true from false factual statements and detecting lies generated in real-world scenarios.

研究の動機と目的

• LLMにおける偽り検出のためのロバストで一般化可能な手法の必要性に応えること、特に戦略的偽りのリスクを考慮して。
• 事前研究の偽り検出器が否定文や分布外の文で失敗する一般化の失敗を解消すること。
• トピック、文の種別、モデルアーキテクチャにわたって一般化可能な、真実性の普遍的内部表現を同定すること。
• 分布シフトに強く、かつ精度の高い偽り検出手法を構築すること。

提案手法

• LLMの活性化空間における2次元部分空間を特定し、真実と偽りの文が線形分離可能であることを示す。この部分空間は、一般化真実方向（$\mathbf{t}_G$）と極性方向（$\mathbf{t}_P$）で定義される。
• 実験的に、$\mathbf{t}_G$がGemma-7B、LLaMA2-13B、LLaMA3-8Bを含む複数のLLMにわたって普遍的であることを、内部層からの活性化ベクトルを分析することで示す。
• 真実チューニング・プロジェクション検出器（TTPD）を構築し、入力の活性化ベクトルを$\mathbf{t}_G$に射影し、しきい値を用いて文を真実または偽りに分類する。
• 射影と極性推定の線形結合を用いて検出を向上させるが、極性推定は2次元活用のための課題のまま残っている。
• 肯定文と否定文を含む合成データセットおよび、嘘をつくインcentiveがある現実世界のロールプレイングシナリオで、分類器を訓練・評価する。
• モデルの完了を生成するための温度依存デコード戦略を採用し、手動で応答を真実、偽り、曖昧、その他などのクラスに分類して評価する。

Figure 1 : Top left: The activation vectors of multiple statements projected onto the 2D subspace spanned by our orthonormalized estimates for $\mathbf{t}_{G}$ and $\mathbf{t}_{P}$ . Purple squares correspond to false statements and orange triangles to true statements. Top center: The activation vec

実験結果

リサーチクエスチョン

• RQ1 LLMの活性化空間に、トピックや文の種別（否定文を含む）にわたって一般化可能な普遍的真実方向が存在するか？
• RQ2 このような真実方向に基づく偽り検出器は、トレーニング分布を超えて一般化可能か、特に未観測の文の種別や現実世界の欺瞞シナリオにおいて？
• RQ3 なぜ過去の分類器は否定文に一般化できないのか？これは、複数の狭い真実方向の存在によって説明可能か？
• RQ4 真実部分空間をどれだけ活用できるか、分布シフトに敏感でないロバストで高精度な偽り検出器を構築できるか？

主な発見

• Gemma-7B、LLaMA2-13B、LLaMA3-8Bを含む複数のLLMに、真実と偽りの文が線形分離可能な普遍的な二次元真実部分空間が存在する。
• 一般化真実方向$\mathbf{t}_G$により、肯定文から否定文へと一般化可能なロバストな偽り検出が可能となり、過去の一般化失敗が解消される。
• 提案されたTTPD分類器は、単純な真偽文では94％の精度、現実世界のロールプレイングにおける偽りでは95％の精度を達成する。
• TTPDは、ロジスティック回帰（LR）やCCSといったベースライン手法（それぞれ79％および73％の精度）を上回り、現実世界の偽り検出ベンチマークで優れた性能を示す。
• 外部のインcentiveに依存するのではなく、内部の真実表現に基づいて偽りを正しく検出できることを、モデル応答の手動分類による検証で裏付けた。
• 真実方向$\mathbf{t}_G$はモデルやタスク間で安定的かつ転送可能であり、LLMに真実性が根本的に内部にエンコードされている可能性を示唆する。

Figure 2 : Ratio of the between-class variance and within-class variance of activations corresponding to true and false statements, across residual stream layers, averaged over all dimensions of the respective layer.