[논문 리뷰] Large Language Models Help Humans Verify Truthfulness -- Except When They Are Convincingly Wrong

Chenglei Si, Navita Goyal외 5명|arXiv (Cornell University)|2023. 10. 19.

Topic Modeling인용 수 6

한 줄 요약

이 연구는 비전문가 사용자를 대상으로 대규모 언어 모델(Large Language Models, LLMs)이 사실 확인 보조 도구로 기능하는지 평가하며, LLM이 생성한 설명은 검색 엔진과 유사한 정확도로 검증 속도를 크게 향상시키지만, 특히 잘못된 설명이 확신 있게 제시될 경우 사용자들이 잘못된 설명에 과도하게 의존하는 경향이 있음을 발견했다. 대조적 설명(참과 거짓 이유를 동시에 보여주는 방식)은 과도한 의존을 줄이지만, 검색만으로도 달성할 수 있는 정확도를 초과하지는 못한다.

ABSTRACT

Large Language Models (LLMs) are increasingly used for accessing information on the web. Their truthfulness and factuality are thus of great interest. To help users make the right decisions about the information they get, LLMs should not only provide information but also help users fact-check it. Our experiments with 80 crowdworkers compare language models with search engines (information retrieval systems) at facilitating fact-checking. We prompt LLMs to validate a given claim and provide corresponding explanations. Users reading LLM explanations are significantly more efficient than those using search engines while achieving similar accuracy. However, they over-rely on the LLMs when the explanation is wrong. To reduce over-reliance on LLMs, we ask LLMs to provide contrastive information - explain both why the claim is true and false, and then we present both sides of the explanation to users. This contrastive explanation mitigates users' over-reliance on LLMs, but cannot significantly outperform search engines. Further, showing both search engine results and LLM explanations offers no complementary benefits compared to search engines alone. Taken together, our study highlights that natural language explanations by LLMs may not be a reliable replacement for reading the retrieved passages, especially in high-stakes settings where over-relying on wrong AI explanations could lead to critical consequences.

연구 동기 및 목표

• LLM이 생성한 자연어 설명이 검색 엔진의 검색 결과만을 사용할 때보다 인간의 사실 확인 성능을 향상시키는지 평가하는 것.
• 사용자들이 사실적으로 잘못된 LLM 설명에도 불구하고 그것에 과도하게 신뢰하는 이유를 조사하는 것.
• 대조적 설명(즉, 지지하는 주장과 반박하는 주장을 모두 보여주는 방식)이 잘못된 LLM 출력에 대한 과도한 의존을 줄이는지 테스트하는 것.
• 검색과 설명을 조합했을 때 정확도와 효율성 측면에서 상호 보완적 이점을 제공하는지 평가하는 것.
• 인간-AI 사실 확인 워크플로우에서 LLM을 효과적으로 사용할 수 있는 실용적 지침을 제공하는 것.

제안 방법

• 80명의 커뮤니티 작업자들을 대상으로 한 인간 대상 실험을 통해 네 가지 조건(검색 전용, 설명 전용, 대조적 설명, 검색 + 설명) 간의 사실 확인 성능을 비교했다.
• 사실 기반을 확보하기 위해 FoolMeTwice 데이터셋의 주장을 사용하고, Gold 표준 위키백과 증거를 제공했다.
• GPT-3.5-turbo를 사용해 LLM이 주장을 검증하고 추론 과정을 제시하도록 프롬프트를 설정했다.
• 각 주장을 둘러싼 지지 및 반박 이유를 모두 생성하도록 프롬프트를 수정해 대조적 설명을 구현했다.
• 사용자의 정확도, 작업 소요 시간, 추론 전략(예: 자기 모순 탐지, 검색된 문장, 개인 지식 의존 여부)을 측정했다.
• 정확한 판단과 잘못된 판단에서의 오류 원인을 규명하기 위해 사용자 의사결정 패턴을 분석했다.

Figure 1 . An example of the claim to be verified and the corresponding ChatGPT explanation, retrieved passages (abridged), and contrastive explanation. Note that the claim is true and the refuting explanation contains factual errors and reasoning contradiction.

실험 결과

연구 질문

• RQ1 LLM이 생성한 설명을 사용할 경우, 검색 엔진의 검색 결과만을 사용할 때보다 인간의 사실 확인 정확도가 향상되는가?
• RQ2 LLM 설명이 사실적으로 잘못되었지만 유력하게 보일 경우 사용자는 어떻게 반응하는가?
• RQ3 대조적 설명(참과 거짓 추론을 동시에 보여주는 방식)은 잘못된 LLM 출력에 대한 과도한 의존을 줄일 수 있는가?
• RQ4 검색과 설명을 조합했을 때, 단독으로 사용했을 경우보다 정확도나 효율성이 향상되는가?
• RQ5 사용자들이 주장을 평가할 때 주로 사용하는 추론 전략은 무엇이며, 이는 정확도와 어떤 관련이 있는가?

주요 결과

• 사용자들은 LLM 설명을 읽을 경우 평균 1.01분/건의 시간에 주장을 검증했고, 검색 엔진 결과를 사용할 경우 2.53분/건이었으며, 이는 2.5배 빠른 속도로 검증이 이루어졌고, 정확도는 각각 74%와 73%로 유사했다.
• LLM 설명이 잘못된 경우, 사용자들은 그 설명에 80%의 비율로 과도하게 의존했으며, 이로 인해 AI 보조 없이도 59%의 정확도를 기록한 기준선보다 낮은 정확도를 보였다.
• 대조적 설명은 잘못된 LLM 출력에 대한 과도한 의존을 줄였지만, 검색 전용 조건과 비교해 인간의 사실 확인 정확도는 유의미하게 향상되지 않았다.
• 검색과 설명을 조합했을 때 정확도나 속도 측면에서 상호 보완적 이점이 없었으며, 검색 전용 조건과 유사한 성능을 보였다.
• 설명 조건에서 40.7%의 정확한 판단은 LLM 설명 내 자기 모순을 탐지한 데 기반했으며, 이는 사용자들이 때로는 잘못된 추론을 식별할 수 있음을 시사한다.
• 검색 + 설명 조건에서 63.5%의 정확한 판단은 검색된 문장에서 확보한 정보에 기반했으며, 이는 원시 증거가 LLM이 생성한 서사보다 더 신뢰할 수 있음을 보여준다.

Figure 2 . Interface for the contrastive explanation condition. We present ChatGPT’s explanations for both sides together to encourage more careful thinking. We also highlight all the keywords to ease reading.