[논문 리뷰] Still No Lie Detector for Language Models: Probing Empirical and Conceptual Roadblocks

Benjamin A. Levinstein, Daniel A. Herrmann|arXiv (Cornell University)|2023. 06. 30.

Topic Modeling참고 문헌 34인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 내부적 신념을 측정함으로써 거짓말을 탐지할 수 있는지 조사한다. 기존의 두 가지 탐사 방법을 평가한 결과, 이는 경험적으로나 개념적으로 모두 실패함을 밝혀내며, LLMs에 대한 신뢰할 수 있는 거짓말 탐지기가 존재하지 않음을 시사한다. 비록 LLMs가 기능적 이유로 진실을 추적할 가능성이 있더라도, 현재의 방법들은 일반화되지 못하고 신념을 신뢰성 있게 측정할 수 있는 개념적 기반을 갖추지 못해, LLMs에 대한 거짓말 탐지 방법이 성립하지 않는다.

ABSTRACT

We consider the questions of whether or not large language models (LLMs) have beliefs, and, if they do, how we might measure them. First, we evaluate two existing approaches, one due to Azaria and Mitchell (2023) and the other to Burns et al. (2022). We provide empirical results that show that these methods fail to generalize in very basic ways. We then argue that, even if LLMs have beliefs, these methods are unlikely to be successful for conceptual reasons. Thus, there is still no lie-detector for LLMs. After describing our empirical results we take a step back and consider whether or not we should expect LLMs to have something like beliefs in the first place. We consider some recent arguments aiming to show that LLMs cannot have beliefs. We show that these arguments are misguided. We provide a more productive framing of questions surrounding the status of beliefs in LLMs, and highlight the empirical nature of the problem. We conclude by suggesting some concrete paths for future work.

연구 동기 및 목표

• 기존의 탐사 방법이 대규모 언어 모델(LLMs) 내부의 신념을 신뢰성 있게 측정할 수 있는지 평가하는 것.
• 철학적 논의가 반대하더라도 LLMs가 신념을 가질 수 있는지 조사하는 것.
• LLMs에서 효과적인 거짓말 탐지에 방해가 되는 경험적 및 개념적 장애 요소를 규명하는 것.
• 경험적 조사에 기반한, LLMs 내에서 신념 유사 상태를 연구하는 데 더 유용한 프레임워크를 제안하는 것.

제안 방법

• 제어된, 진리값을 부여할 수 있는 프롬프트를 사용하여 Azaria와 Mitchell(2023)의 방법과 Burns 등(2022)의 방법을 평가하는 것.
• 다양하고 분포 외의 예시를 대상으로 탐사 방법의 일반화 능력을 테스트하여 복원력 평가.
• 확률적 레이블을 사용한 감독 학습이 가능한, 알려진 확률을 가진 우물 모델 등과 같은 우연 기반 설정을 활용해 불확실성 하에서 LLMs를 탐사하는 것.
• LLMs가 세계 모델과 대응할 수 있는 잠재 변수를 사용하는지 분석하고, 그들의 진리 적합성(진실에 적합한 성질)을 평가하는 것.
• LLMs의 신념에 관해 철학적 질문이 아니라 경험적 질문으로 재구성하는 것에 초점을 맞추며, 기능적 진실 추적 능력에 초점을 맞추는 것.
• 잠재 변수와 그들이 진실 추적 표현과 어떻게 관련되는지 규명하는 데 초점을 맞춘 향후 연구 방향 제안.

실험 결과

연구 질문

• RQ1 기존의 탐사 방법이 대규모 언어 모델(LLM)이 사실 문장에 대해 신념을 가지고 있는지 신뢰성 있게 탐지할 수 있는가?
• RQ2 왜 현재의 탐사 방법들은 다양한 사실적 맥락으로부터 일반화되지 못하는가?
• RQ3 LLMs가 명시적으로 세계 모델을 학습하지 않았더라도, 진실을 추적하는 방식으로 신념 유사 상태를 형성할 수 있는가?
• RQ4 LLM의 신념을 정확히 측정하는 데 방해가 되는 개념적 또는 구조적 장애 요소는 무엇인가?
• RQ5 LLMs의 잠재 변수가 세계 모델의 표현으로 해석될 수 있으며, 만약 그렇다면 그들은 진리 적합성을 갖는가?

주요 결과

• Azaria와 Mitchell(2023) 및 Burns 등(2022)의 탐사 방법은 분포 외의 사실 문장으로 일반화되지 않아 복원력이 떨어짐을 보임.
• 프롬프트가 명확한 진리값을 가질 때조차도, 탐사 방법은 LLM의 내부 확신 또는 신념 상태를 안정적으로 캡처하지 못함.
• LLMs가 오직 텍스트 예측만 수행하므로 신념을 가질 수 없다는 이론적 논거는 철학적 오류에 기반하며, 따라서 잘못된 주장임.
• 최적화 압력으로 인해 LLMs가 명시적인 세계 모델 없이도 기능적으로 진실을 추적할 수 있으며, 이는 신념 유사 행동이 가능함을 시사함.
• 현재로서는 LLM의 신념을 측정할 수 있는 신뢰할 수 있는 방법이 없으며, 기존 방법들은 개념적으로 결함이 있어 신뢰할 수 있는 거짓말 탐지기가 존재하지 않음.
• 향후 연구는 LLM 내 잠재 변수를 경험적으로 연구하여 그들이 진실 추적 표현을 지원하는지 규명하는 데 초점을 맞춰야 함.