[논문 리뷰] Why Does ChatGPT Fall Short in Providing Truthful Answers?

Shen Zheng, Jie Huang외 1명|arXiv (Cornell University)|2023. 04. 20.

Topic Modeling인용 수 35

한 줄 요약

본 논문은 ChatGPT의 오픈 도메인 QA 실패를 분석하고, 사실성(factuality)을 지배적인 오류 유형으로 식별하며, 세밀한 외부 지식과 회상 기억 신호가 사실성을 향상시킬 수 있음을 보인다.

ABSTRACT

Recent advancements in large language models, such as ChatGPT, have demonstrated significant potential to impact various aspects of human life. However, ChatGPT still faces challenges in providing reliable and accurate answers to user questions. To better understand the model's particular weaknesses in providing truthful answers, we embark an in-depth exploration of open-domain question answering. Specifically, we undertake a detailed examination of ChatGPT's failures, categorized into: comprehension, factuality, specificity, and inference. We further pinpoint factuality as the most contributing failure and identify two critical abilities associated with factuality: knowledge memorization and knowledge recall. Through experiments focusing on factuality, we propose several potential enhancement strategies. Our findings suggest that augmenting the model with granular external knowledge and cues for knowledge recall can enhance the model's factuality in answering questions.

연구 동기 및 목표

• 진실성과 관련된 오픈 도메인 QA에서 ChatGPT의 일반적인 실패 모드를 식별한다.
• 사실성 오류의 기저에 있는 능력(지식 암기 vs. 지식 회상)을 규명한다.
• 외부 증거의 세분성(세부 수준)과 회상 신호가 사실성에 미치는 영향을 평가한다.
• QA 시스템의 사실성을 향상시키기 위한 실용적 전략을 제안한다.

제안 방법

• HotpotQA에서의 ChatGPT 응답에 대해 주제별 분석을 수행하여 오류를 이해, 사실성, 구체성, 추론으로 분류한다.
• 외부 증거(골드)가 제공되었는지 여부에 따라 GPT-3.5와 GPT-4의 오류 빈도를 정량화한다.
• 제어된 프롬프트를 통해 사실성과 관련된 두 가지 능력인 지식 암기와 지식 회상을 정의하고 검증한다.
• 외부 지식의 세분성(문장 수준, 단락 수준, 섹션 수준)과 회상 신호(전체 엔티티 이름, 정의) 변화를 실험한다.
• HotpotQA와 BoolQ에서 부분 일치 평가를 사용해 사실성 개선을 평가한다.

실험 결과

연구 질문

• RQ1 오픈 도메인 QA에서 ChatGPT의 지배적인 오류 유형은 무엇인가?
• RQ2 사실성이 진실한 답변 실패의 주요 원인인가, 그리고 그것을 주도하는 능력은 무엇인가(암기 vs. 회상)?
• RQ3 세밀한 외부 지식과 회상 신호를 제공하면 사실성 오류를 완화할 수 있는가?
• RQ4 증거의 세분성과 회상 신호가 GPT-3.5와 GPT-4 전반에 걸쳐 사실성에 어떤 영향을 미치는가?

주요 결과

• 사실성 오류는 모든 실패의 대략 절반 정도를 차지하며, 다른 오류 유형보다 많다.
• 외부 증거를 제공하면 사실성이 향상되고 이해 및 구체성 오류도 감소한다.
• GPT-4는 이해 및 구체성에서 GPT-3.5에 비해 개선되었지만 사실성에는 미미한 향상에 그친다.
• 세밀한 외부 지식(문장 수준)이 전체 섹션과 같은 더 거친 세분성보다 사실성에 더 효과적이다.
• 관련 키(엔터티 이름이나 배경 정보)를 제공하면 지식 회상을 돕고 정확도가 향상된다.
• 회상 실패(프롬프트에 따른 기억 회출)는 일부 사실성 오류에 기여하며, 암기와는 별개이다.