[논문 리뷰] Causal-Discovery Performance of ChatGPT in the context of Neuropathic Pain Diagnosis

Ruibo Tu, Chao Ma외 1명|arXiv (Cornell University)|2023. 01. 24.

Artificial Intelligence in Healthcare and Education인용 수 16

한 줄 요약

이 논문은 샘플링된 벤치마크를 사용하여 ChatGPT가 신경병성 통증 진단에서 인과 발견 질문에 얼마나 잘 대답하는지 평가하고, 제한적이고 일관되지 않은 성능과 명확한 위음성이며 언어/개념의 한계가 있음을 발견했다.

ABSTRACT

ChatGPT has demonstrated exceptional proficiency in natural language conversation, e.g., it can answer a wide range of questions while no previous large language models can. Thus, we would like to push its limit and explore its ability to answer causal discovery questions by using a medical benchmark (Tu et al. 2019) in causal discovery.

연구 동기 및 목표

• 의료 분야(신경병성 통증)에서 인과 발견 질문에 ChatGPT가 대답하는 능력을 평가한다.
• 관찰 데이터가 아닌 메타정보를 사용하여 인과 관계에 관한 질문에 대해 ChatGPT가 어떻게 답하는지 분석한다.
• ChatGPT 응답에서의 한계, 일관성 문제, 언어/개념 이해의 격차를 식별한다.

제안 방법

• 신경병성 통증 인과 맵에서 50개의 진짜 인과 쌍과 50개의 거짓 쌍을 샘플링하여 벤치마크를 만든다.
• X가 Y를 야기한다. 참/거짓으로 답하라 형식의 질문을 가변 쌍으로 포맷한다.
• 명시된 관계가 참인지 거짓인지에 대해 ChatGPT에 질의한다.
• 정밀도, 재현율, F-score를 기준으로 응답을 분석한다.
• 질적 및 양적 오류를 점검하여 한계의 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 메타정보만으로 신경병성 통증 인과 맵에서 참인 인과 관계를 ChatGPT가 신뢰할 수 있게 식별할 수 있는가?
• RQ2 ChatGPT의 인과 판단에서 일반적인 오류 모드(예: 위음성, 언어/지역 해석 오류)는 무엇인가?
• RQ3 반복 질의 간, 그리고 언어 또는 용어 간에 ChatGPT의 응답은 얼마나 일관적인가?

주요 결과

• ChatGPT는 테스트된 인과 판단에서 높은 정밀도를 보이지만 재현율은 낮다.
• 보고된 혼동 행렬에서 위양성은 없지만 다수의 위음성이 전체 성능을 저하시킨다.
• 답변은 날짜에 따라 달라지며, 불안정성과 모델 업데이트가 응답에 미치는 영향을 시사한다.
• ChatGPT는 해부학적 지역 설명(예: T12 관여) 및 비영어 용어에 어려움을 겪어 오분류에 기여한다.
• 일부 질의는 합리적이거나 비자명한 올바른 응답을 내놓아 인과 발견 작업에 보완적 사용 가능성을 시사한다.
• 전반적으로 현재 ChatGPT의 인과 발견 성능은 제한적이며 확정적 인과 주장에 대해 신뢰할 수 없다.