[논문 리뷰] Attention Satisfies: A Constraint-Satisfaction Lens on Factual Errors of Language Models

Mert Yüksekgönül, Varun Chandrasekaran외 6명|arXiv (Cornell University)|2023. 09. 26.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 사실 오류를 분석하기 위해 사실 질의를 제약 충족 문제(CSP)로 모델링함으로써 제약 충족 렌즈를 제안한다. 이는 Llama-2 모델(7B–70B)에서 11개 데이터셋, 40,000개 이상의 프롬프트를 대상으로 인퍼런스 초기 단계에서 사실 정확도와 오류를 예측하기 위해 주로 주의 패턴을 활용하는 SAT Probe라는 방법을 도입한다. 주의 패턴과 정확도 사이에 강한 상관관계가 나타나며, 이는 다양한 크기의 Llama-2 모델에서 일관되게 관찰된다.

ABSTRACT

We investigate the internal behavior of Transformer-based Large Language Models (LLMs) when they generate factually incorrect text. We propose modeling factual queries as constraint satisfaction problems and use this framework to investigate how the LLM interacts internally with factual constraints. We find a strong positive relationship between the LLM's attention to constraint tokens and the factual accuracy of generations. We curate a suite of 10 datasets containing over 40,000 prompts to study the task of predicting factual errors with the Llama-2 family across all scales (7B, 13B, 70B). We propose SAT Probe, a method probing attention patterns, that can predict factual errors and fine-grained constraint satisfaction, and allow early error identification. The approach and findings take another step towards using the mechanistic understanding of LLMs to enhance their reliability.

연구 동기 및 목표

• 대규모 언어 모델(LLM)의 사실 오류 배경에 있는 내부 메커니즘을 이해하기 위해, 특히 트랜스포머 기반 아키텍처에서의 사실 오류를 분석한다.
• 정확한 사실 기억 성능은 뛰어나지만, 사실 추론 작업에서 LLM이 실패하는 방식에 대한 기계적 이해의 격차를 메우기 위해 노력한다.
• 모델 내부 정보를 활용해 사실 오류를 조기에 탐지하는 방법을 개발함으로써, 비용이 많이 드는 후행 검증에 의존하는 것을 줄인다.
• 생성 과정에서 주의 메커니즘이 제약 충족과 사실 정확성에 어떻게 기여하는지 조사한다.

제안 방법

• 각 질의가 제약(예: 주어-관계-목적어 삼중조합)을 부과하는 제약 충족 문제(CSP)로 사실 질의를 모델링한다. 응답은 이러한 제약을 충족해야 한다.
• 입력에서 제약 토큰(예: '감독', '태어난 곳')를 사실의 구조적 지표로 정의하고, 이를 레이어 전반에 걸쳐 주의 패턴을 추적한다.
• 제약 토큰을 대상으로 주의 활성화에 간단한 선형 프로브를 적용해 제약 충족과 사실 정확도를 예측하는 SAT Probe를 제안한다.
• 단일 및 다중 제약 질의를 포함한 11개 데이터셋의 정제된 벤치마크를 대상으로 SAT Probe를 훈련 및 평가한다. 총 40,000개 이상의 프롬프트를 포함한다.
• 초기 레이어의 주의 통계를 활용해 전방 전파 중반에서 사실 오류를 예측함으로써, 비용 절감형 조기 정지 기능을 구현한다.
• 정확도, F1, AUC 지표를 사용해 성능을 평가하며, SAT Probe를 LLM의 자신감 점수 및 기준 방법과 비교한다.

Figure 1: Tracking attention to predict constraint satisfaction and factual errors. We view factual queries as Constraint Satisfaction Problems. That is, factual queries impose a set of constraints that the LLM’s responses must satisfy. To predict constraint satisfaction (i.e., factual correctness),

실험 결과

연구 질문

• RQ1 LLM 생성 응답에서 제약 토큰에 대한 주의 패턴과 사실 정확도 사이의 상관관계는 어떠한가?
• RQ2 표준 LLM 자신감 점수보다 주의 패턴에 대한 단순 프로브가 사실 오류를 더 이르게 예측할 수 있는가?
• RQ3 최종 출력이 사실적으로 잘못되었더라도, 모델의 내부 주의 행동이 제약 충족을 반영하고 있는가?
• RQ4 제약의 인기도(예: 일반적 vs. 희귀한 실체)가 주의 패턴과 사실 정확도에 어떤 영향을 미치는가?
• RQ5 SAT Probe를 사용해 인퍼런스 초기에 사실적으로 잘못된 생성을 식별하고 정지함으로써 계산 비용을 절감할 수 있는가?

주요 결과

• 제약 토큰에 대한 주의와 사실 정확도 사이에 강한 정적 상관관계가 존재한다: 제약에 대한 주의가 낮을수록 사실 오류 비율이 높아진다.
• SAT Probe는 사실 오류 탐지에서 LLM 자체의 자신감 점수와 유사한 예측 성능을 보이며, 대부분의 데이터셋에서 AUC 점수가 0.85 이상이다.
• Llama-2 70B 모델의 경우, '감독한 영화' 작업에서 AUC 0.86, '연주한 곡' 작업에서 AUC 0.83를 기록해 높은 신뢰성을 입증한다.
• SAT Probe는 전방 전파의 첫 번째 반만을 사용해도 사실 오류를 높은 정확도로 예측할 수 있어, 조기 정지 및 계산 비용 절감이 가능하다.
• CounterFact 데이터셋에서, SAT Probe는 낮은 인기도를 가진 제약에 대해서도 뛰어난 성능을 보이며, 다양한 관계에서 AUC 값이 0.58에서 0.71 사이로 변동한다.
• 이 방법은 모델 크기(7B, 13B, 70B)에 관계없이 일반화되며, 다양한 파라미터 규모에서 일관된 성능을 보인다.