[논문 리뷰] LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations

Hadas Orgad, Michael Toker외 5명|arXiv (Cornell University)|2024. 10. 03.

Blockchain Technology Applications and Security인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 이전에 인식된 것보다 훨씬 더 많은 내부 진실성 정보를 내부 표현에 포함하고 있으며, 특히 정확한 답변 토큰에 집중되어 있음을 드러낸다. 이러한 표현에 대해 프로브 분류기 모델을 훈련시켜 오류 탐지 성능을 향상시키고, 진실성 신호가 보편적인 것이 아니라 작업에 따라 특화되어 있음을 발견하였다. 이는 오류 유형을 예측하고 내부 지식과 외부 생성 행동 간의 핵심 괴리 현상을 드러내는 데 기여한다.

ABSTRACT

Large language models (LLMs) often produce errors, including factual inaccuracies, biases, and reasoning failures, collectively referred to as "hallucinations". Recent studies have demonstrated that LLMs' internal states encode information regarding the truthfulness of their outputs, and that this information can be utilized to detect errors. In this work, we show that the internal representations of LLMs encode much more information about truthfulness than previously recognized. We first discover that the truthfulness information is concentrated in specific tokens, and leveraging this property significantly enhances error detection performance. Yet, we show that such error detectors fail to generalize across datasets, implying that -- contrary to prior claims -- truthfulness encoding is not universal but rather multifaceted. Next, we show that internal representations can also be used for predicting the types of errors the model is likely to make, facilitating the development of tailored mitigation strategies. Lastly, we reveal a discrepancy between LLMs' internal encoding and external behavior: they may encode the correct answer, yet consistently generate an incorrect one. Taken together, these insights deepen our understanding of LLM errors from the model's internal perspective, which can guide future research on enhancing error analysis and mitigation.

연구 동기 및 목표

• 표면 수준의 오류 탐지를 넘어서 LLM 내부에서 환각 현상의 내재된 표현을 탐구하는 것.
• 모델의 내부 상태에서 진실성 정보가 가장 농축되어 있는 위치를 특정하는 것.
• 진실성 신호가 다양한 작업과 데이터셋 간에 일반화되는지 평가하는 것.
• 내부 표현이 오류뿐 아니라 오류 유형까지 예측할 수 있는지 탐색하는 것.
• 정답이 내부에 인코딩되어 있지만 생성되지 않는 경우에 특히, 내부 지식과 실제 모델 행동 간의 일치 정도를 검토하는 것.

제안 방법

• 생성된 출력에서 정확한 답변에 해당하는 토큰에 집중하여, LLM의 중간 레이어 표현에 대해 프로브 분류기를 훈련하는 것.
• 다양한 작업에서 오류 탐지 성능을 평가하기 위해 여러 데이터셋(TriviaQA, Math, Winobias)을 사용하는 것.
• 일반화성과 강건성을 평가하기 위해 로짓 기반의 불확실성 예측기와 프로브 분류기의 성능을 비교하는 것.
• 반복적인 생성을 분석하여 오류 패턴(예: 일관된, 흔한, 경쟁적 답변 등)을 분류하고, 내부 표현에 기반한 분류기를 훈련하는 것.
• 다중 샘플에서 응답 일관성에 기반한 오류 유형 분류 체계를 도입하여 내부 표현과 행동 패턴을 연결하는 것.
• 내부적으로 정답이 어떻게 인코딩되어 있는지와 실제 모델 출력 간의 격리 정도를 측정하여 내부-외부 불일치를 드러내는 것.

Figure 1: Example for the input and LLM output from the TriviaQA dataset, and the names of the tokens that can be probed.

실험 결과

연구 질문

• RQ1 LLM의 내부 표현에서 진실성 정보가 가장 농축되어 있는 위치는 어디인가?
• RQ2 내부 표현에 기반한 프로브 분류기가 기존 방법보다 환각 현상을 더 효과적으로 탐지할 수 있는가?
• RQ3 LLM 내부의 진실성 신호는 다양한 작업 간에 일반화되는가, 아니면 작업에 특화되어 있는가?
• RQ4 내부 표현은 모델이 유형별 오류를 유발할 가능성이 있는지 예측할 수 있는가?
• RQ5 모델가 정답을 내부적으로 알고 있음에도 불구하고 실제 출력에서 환각을 유발하는 경우가 발생할 정도로 내부 지식과 실제 행동 간의 괴리 정도는 어느 정도인가?

주요 결과

• 진실성 정보는 정확한 답변 토큰에 가장 강하게 인코딩되어 있으며, 이러한 토큰에 집중함으로써 오류 탐지 성능이 크게 향상된다.
• 정답 토큰에 기반한 프로브 분류기는 상태의 최고 수준 성능을 달성하며, TriviaQA에서 F1 점수 최대 0.79, Winobias에서 0.83까지 기록한다.
• 오류 탐지 모델은 작업 간 일반화에 실패함을 확인하여, 진실성 인코딩이 보편적인 것이 아니라 기술에 따라 특화되어 있음을 시사한다.
• 내부 표현은 오류 유형(예: 일관된 잘못된 답변, 경쟁적 답변 등)을 예측할 수 있어, 표적이 되는 완화 전략 수립이 가능하다.
• 내부적으로 정답이 어떻게 인코딩되어 있는지와 실제 모델 출력 간에 상당한 격리가 존재하며, 모델이 진실을 알고 있음에도 불구하고 환각적인 출력을 생성할 수 있음을 드러낸다.

(a) TriviaQA