[논문 리뷰] Dr ChatGPT, tell me what I want to hear: How prompt knowledge impacts health answer correctness

Guido Zuccon, Bevan Koopman|arXiv (Cornell University)|2023. 02. 23.

Topic Modeling인용 수 33

한 줄 요약

논문은 ChatGPT의 건강 질문 응답을 모델 지식만 사용할 때와 프롬프트로 제공된 증거를 사용할 때를 비교하여, 프롬프트 지식이 모델 지식을 뒤집을 수 있고 정확도가 80%에서 63%로 감소한다는 것을 보인다.

ABSTRACT

Generative pre-trained language models (GPLMs) like ChatGPT encode in the model's parameters knowledge the models observe during the pre-training phase. This knowledge is then used at inference to address the task specified by the user in their prompt. For example, for the question-answering task, the GPLMs leverage the knowledge and linguistic patterns learned at training to produce an answer to a user question. Aside from the knowledge encoded in the model itself, answers produced by GPLMs can also leverage knowledge provided in the prompts. For example, a GPLM can be integrated into a retrieve-then-generate paradigm where a search engine is used to retrieve documents relevant to the question; the content of the documents is then transferred to the GPLM via the prompt. In this paper we study the differences in answer correctness generated by ChatGPT when leveraging the model's knowledge alone vs. in combination with the prompt knowledge. We study this in the context of consumers seeking health advice from the model. Aside from measuring the effectiveness of ChatGPT in this context, we show that the knowledge passed in the prompt can overturn the knowledge encoded in the model and this is, in our experiments, to the detriment of answer correctness. This work has important implications for the development of more robust and transparent question-answering systems based on generative pre-trained language models.

연구 동기 및 목표

• 질문만 사용한 모델 지식으로 복잡한 건강 정보 질문에 대한 ChatGPT의 효과성 평가
• 지지 또는 반대 증거를 포함하는 프롬프트가 답변 정확도에 미치는 영향 평가(증거 편향)
• 프롬프트에 내재된 지식이 건강 정보의 신뢰성과 잠재적 오정보 위험에 미치는 영향 확인

제안 방법

• 일반적 효과성 테스트를 위해 TREC Health Misinformation 트랙의 100개 주제 사용
• 주제별로 질문만 프롬프트와 최대 3개 지지 문서 및 3개 반대 문서를 포함하는 증거 편향 프롬프트를 비교(RQ2)
• 정답과 지상 진실을 예/아니오와 설명으로 주석화하고 평가
• 증거 편향 프롬프트가 정답을 얼마나 자주 뒤집는지와 그 뒤집음이 정확도를 개선하는지 악화하는지 분석

실험 결과

연구 질문

• RQ1 RQ1 일반적 효과성: ChatGPT가 복잡한 건강 정보 질문에 얼마나 효과적으로 대답합니까?
• RQ2 RQ2 증거 편향 효과성: 지지 또는 반대 증거로 프롬프트를 구성하면 정답 정확도에 어떤 영향을 미칩니까?

주요 결과

• ChatGPT가 모델에 내재된 지식만으로 건강 질문에 대답할 때 80%의 정확도를 달성
• 증거 편향 프롬프트로 전체 정확도가 63%로 떨어진다.
• 프롬프트로 제공된 증거는 모델의 답변을 뒤집을 수 있으며, 증거가 반대인 경우 종종 잘못된 결과로 이어진다.
• 증거 편향 프롬프트로 인한 답변 뒤집음은 대개 올바르지 않다.
• 답변과 함께 제공되는 설명은 흔히 제한적이거나 상충하는 증거 및 때로 일반 의학 조언을 다루며, 항상 확인 가능한 출처는 아니다.