[논문 리뷰] Truth is Universal: Robust Detection of Lies in LLMs

Lennart Bürger, Fred A. Hamprecht외 1명|arXiv (Cornell University)|2024. 07. 03.

Law, Economics, and Judicial SystemsEconomics, Econometrics and Finance인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 정직성 검출을 위한 강건하고 일반적인 방법을 제안한다. 이 방법은 모델 활성화에서 일반적인 이차원 진실 부분공간을 식별함으로써 이루어지며, Truth-Tuned Projection Detector(TTPD)라고 불리는 방법을 통해 다양한 주제와 문장 유형에서 진술의 진실성과 거짓성을 분리하는 일반화된 진실 방향($δ_G$)을 활용한다. 이로 인해 단순한 진술에 대해 94%의 정확도를, 실제 세계의 역할 수행 기반 거짓말에 대해선 95%의 정확도를 달성한다.

ABSTRACT

Large Language Models (LLMs) have revolutionised natural language processing, exhibiting impressive human-like capabilities. In particular, LLMs are capable of "lying", knowingly outputting false statements. Hence, it is of interest and importance to develop methods to detect when LLMs lie. Indeed, several authors trained classifiers to detect LLM lies based on their internal model activations. However, other researchers showed that these classifiers may fail to generalise, for example to negated statements. In this work, we aim to develop a robust method to detect when an LLM is lying. To this end, we make the following key contributions: (i) We demonstrate the existence of a two-dimensional subspace, along which the activation vectors of true and false statements can be separated. Notably, this finding is universal and holds for various LLMs, including Gemma-7B, LLaMA2-13B, Mistral-7B and LLaMA3-8B. Our analysis explains the generalisation failures observed in previous studies and sets the stage for more robust lie detection; (ii) Building upon (i), we construct an accurate LLM lie detector. Empirically, our proposed classifier achieves state-of-the-art performance, attaining 94% accuracy in both distinguishing true from false factual statements and detecting lies generated in real-world scenarios.

연구 동기 및 목표

• 전략적 기만의 위험이 있는 상황에서 LLMs에서 강건하고 일반화 가능한 거짓말 탐지의 필수적인 필요성을 해결하기 위해.
• 이전의 거짓말 탐지기들이 부정문이나 분포 외의 문장에서 실패하는 일반화 실패 문제를 해결하기 위해.
• 주제, 문장 유형, 모델 아키텍처에 관계없이 일반화되는 진실성의 내부 표현을 식별하기 위해.
• 분포 이동에 민감하지 않으면서도 정확도가 높은 거짓말 탐지 방법을 개발하기 위해.

제안 방법

• LLM의 활성화 공간에서 진술이 선형으로 분리 가능한 두 차원 부분공간을 식별하며, 이는 일반화된 진실 방향($δ_G$)과 극성 방향($δ_P$)으로 정의된다.
• 내부 레이어의 활성화 벡터를 분석함으로써, $δ_G$가 Gemma-7B, LLaMA2-13B, LLaMA3-8B를 포함한 여러 LLM에서 일반화됨을 경험적으로 입증한다.
• 입력 활성화 벡터를 $δ_G$에 투영하고 임계값을 사용해 진술을 진실 또는 거짓으로 분류하는 분류기인 Truth-Tuned Projection Detector(TTPD)를 구축한다.
• 투영과 극성 추정의 선형 조합을 사용해 검출 성능을 향상시키지만, 극성 추정은 전체 이차원 사용에 있어 여전히 도전 과제로 남아 있다.
• 긍정문과 부정문을 포함한 합성 데이터셋과 거짓말을 유도하는 인센티브가 있는 실제 세계의 역할 수행 시나리오에서 분류기를 훈련하고 평가한다.
• 모델 완성문을 생성하기 위해 온도 기반 디코딩 전략을 사용하고, 수작업으로 응답을 정직, 거짓, 모호, 기타 등으로 분류하여 평가한다.

Figure 1 : Top left: The activation vectors of multiple statements projected onto the 2D subspace spanned by our orthonormalized estimates for $\mathbf{t}_{G}$ and $\mathbf{t}_{P}$ . Purple squares correspond to false statements and orange triangles to true statements. Top center: The activation vec

실험 결과

연구 질문

• RQ1 LLM 활성화 공간에 존재하는 일반적인 진실 방향이 주제와 문장 유형, 특히 부정문까지 일반화되는가?
• RQ2 이러한 진실 방향에 기반한 거짓말 탐지기가 훈련 분포를 초월해, 특히 알려지지 않은 문장 유형과 실제 세계의 기만 시나리오로까지 일반화 가능한가?
• RQ3 이전 분류기가 부정문으로 일반화에 실패하는 이유는 다수의 좁은 진실 방향 존재로 설명될 수 있는가?
• RQ4 진실 부분공간을 얼마나 잘 활용할 수 있을지, 분포 이동에 민감하지 않은 강건하고 고정확도의 거짓말 탐지기를 구축할 수 있는가?

주요 결과

• Gemma-7B, LLaMA2-13B, LLaMA3-8B를 포함한 여러 LLM에서 두 차원의 일반적인 진실 부분공간이 존재하며, 이는 진술의 진실성과 거짓성을 선형으로 분리할 수 있다.
• 일반화된 진실 방향 $δ_G$는 긍정문에서 부정문으로까지 일반화되는 강건한 거짓말 탐지 기능을 가능하게 하여 이전의 일반화 실패 문제를 해결한다.
• 제안된 TTPD 분류기는 단순한 진술/거짓 문장에 대해 94%의 정확도를, 실제 세계의 역할 수행 기반 거짓말에 대해선 95%의 정확도를 달성한다.
• 실제 세계 거짓말 탐지 벤치마크에서 TTPD는 Logistic Regression(LR)와 CCS와 같은 기준 방법보다 뛰어나 79%와 73%의 정확도를 기록한다.
• 모델 응답의 수작업 분류를 통해 외부 인centive가 아닌 내부 진실 표현에 기반해 거짓말을 정확히 탐지함을 검증하였다.
• 진실 방향 $δ_G$는 모델과 작업 간에 안정적이고 이식 가능하여, LLM 내부에 진실성의 근본적인 내부 인코딩이 존재함을 시사한다.

Figure 2 : Ratio of the between-class variance and within-class variance of activations corresponding to true and false statements, across residual stream layers, averaged over all dimensions of the respective layer.