[논문 리뷰] Navigating the Grey Area: How Expressions of Uncertainty and Overconfidence Affect Language Models

Kaitlyn Zhou, Dan Jurafsky외 1명|arXiv (Cornell University)|2023. 02. 26.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 지식적 표시어—확실성, 불확실성 또는 증거성 표현—가 제로샷 질의응답 작업에서 언어 모델의 정확성에 미치는 영향을 조사한다. 50종류의 지식적 표시어를 프롬프트에 삽입함으로써, 저자는 높은 확실성 표현(예: "내가 확신한다")이 낮은 확실성 표현보다 모델 정확도를 7% 낮춘다는 것을 발견했으며, "위키백과에 따르면"과 같은 증거성 표시어는 성능을 향상시켜, 모델이 사전학습 데이터의 패턴을 모방할 뿐 아니라 진정한 지식적 상태를 추론하지는 않는다는 것을 시사한다.

ABSTRACT

The increased deployment of LMs for real-world tasks involving knowledge and facts makes it important to understand model epistemology: what LMs think they know, and how their attitudes toward that knowledge are affected by language use in their inputs. Here, we study an aspect of model epistemology: how epistemic markers of certainty, uncertainty, or evidentiality like "I'm sure it's", "I think it's", or "Wikipedia says it's" affect models, and whether they contribute to model failures. We develop a typology of epistemic markers and inject 50 markers into prompts for question answering. We find that LMs are highly sensitive to epistemic markers in prompts, with accuracies varying more than 80%. Surprisingly, we find that expressions of high certainty result in a 7% decrease in accuracy as compared to low certainty expressions; similarly, factive verbs hurt performance, while evidentials benefit performance. Our analysis of a popular pretraining dataset shows that these markers of uncertainty are associated with answers on question-answering websites, while markers of certainty are associated with questions. These associations may suggest that the behavior of LMs is based on mimicking observed language use, rather than truly reflecting epistemic uncertainty.

연구 동기 및 목표

• 자연스러운 불확실성 및 확실성 표현이 질의응답 작업에서 언어 모델 성능에 미치는 영향를 이해하는 것.
• 허드, 사실적 동사, 증거성 표현을 포함한 지식적 표시어의 언어학적 유형 체계를 수립하여 그 영향을 체계적으로 평가하는 것.
• 언어 모델이 지식적 표시어를 의미적 의미에 기반해 해석하는지, 아니면 사전학습 데이터의 통계적 공존 패턴에 기반해 해석하는지 조사하는 것.
• 높은 확실성 표현을 사용할수록 정확도가 떨어지는 등 직관에 어긋나는 모델 행동의 원인을 밝혀내는 것.
• 검증되지 않은 근거 기반 표현과 잘못된 지식적 신호의 위험을 식별함으로써 언어 모델의 안전한 구현을 안내하는 것.

제안 방법

• 저자는 50종류의 지식적 표시어를 허드, 강화자(확실성 표시어), 사실적 동사, 증거성 표현으로 분류하는 유형 체계를 수립했다.
• 이 표시어들을 트리비 스타일 질문을 위한 제로샷 프롬프트에 삽입하여, 표준 프롬프트인 "프랑스의 수도는 무엇입니까?"를 "내가 확싰로 안다, 그것은..."와 같이 변형했다.
• 질의응답 벤치마크에서 표준 정확도 지표를 사용해 모델 성능을 평가하였으며, 다양한 지식적 표시어 유형 간의 응답을 비교했다.
• 사전학습 데이터셋의 대표적인 데이터를 분석하여 지식적 표시어와 답변 유형 간의 연관성을 조사했다.
• 언어학적 패턴이 사전학습 데이터에 어떻게 반영되어 있는지 추적하기 위해 정성적 및 정량적 분석을 수행했다.
• 제로샷 프롬프팅 실험과 함께, 모델이 스스로 지식적 표시어를 생성하는 데 대한 초보적 분석도 수행했다.

실험 결과

연구 질문

• RQ1 허드, 사실적 동사, 증거성 표현과 같은 다양한 유형의 지식적 표시어가 제로샷 질의응답에서 언어 모델의 정확성에 어떤 영향을 미치는가?
• RQ2 높은 확실성 표현을 프롬프트에 삽입할 경우, 낮은 확실성 표현보다 모델 정확도가 떨어지는가?
• RQ3 언어 모델의 응답은 지식적 표시어의 의미적 의미보다 사전학습 데이터의 통계적 공존 패턴에 더 영향을 받는가?
• RQ4 사실적 동사와 강화자가 확실성을 암시하고 있음에도 불구하고 왜 모델 성능이 떨어지는가?
• RQ5 모델이 지식적 상태를 추론하기보다 자연어 패턴을 모방하는 정도는 어느 정도인가?

주요 결과

• "내가 확신한다" 또는 "내가 100% 확신한다"와 같은 높은 확실성 표현은 "내가 생각한다"와 같은 낮은 확실성 표현보다 모델 정확도를 7% 낮춘다.
• "우리는 그것이 그렇다는 것을 안다"와 같은 사실적 동사는 모델 성능을 심각하게 저하시켜, 잘못된 확신 신호를 유도할 수 있음을 시사한다.
• "위키백과에 따르면 그것이 그렇다"와 같은 증거성 표시어는 모델 정확도를 향상시켜, 유용한 신호 원천이 될 수 있음을 나타낸다.
• 사전학습 데이터셋 분석 결과, 불확실성 표시어는 QA 웹사이트에서 답변과 더 자주 연결되며, 확실성 표시어는 질문과 연결되는 경향이 있어, 모델 행동의 데이터 기반 기원을 시사한다.
• 높은 확실성 프롬프트가 의도에 반해 성능을 떨어뜨리지만, 모델 행동은 진정한 지식적 추론이 아니라 사전학습 데이터의 통계적 패턴을 반영하고 있음을 확인했다.
• 자기 생성된 지식적 표시어의 캘리브레이션은 여전히 낮은 편이며, 어휘적 불확실성 표현은 확실성 표시어보다 약간 더 나은 캘리브레이션을 보였다.