[논문 리뷰] ChatGPT Makes Medicine Easy to Swallow: An Exploratory Case Study on Simplified Radiology Reports

Katharina Jeblick, Balthasar Schachtner외 9명|arXiv (Cornell University)|2022. 12. 30.

Artificial Intelligence in Healthcare and Education인용 수 105

한 줄 요약

본 연구는 방사선 전문의의 ChatGPT-간소화 방사선 영상 보고서에 대한 품질 판단을 평가하며, 보고서는 주로 사실상 정확하고 완전하지만 몇몇 부정확성 및 잠재적으로 해로운 함의를 나타낸다고 결론짓는다.

ABSTRACT

The release of ChatGPT, a language model capable of generating text that appears human-like and authentic, has gained significant attention beyond the research community. We expect that the convincing performance of ChatGPT incentivizes users to apply it to a variety of downstream tasks, including prompting the model to simplify their own medical reports. To investigate this phenomenon, we conducted an exploratory case study. In a questionnaire, we asked 15 radiologists to assess the quality of radiology reports simplified by ChatGPT. Most radiologists agreed that the simplified reports were factually correct, complete, and not potentially harmful to the patient. Nevertheless, instances of incorrect statements, missed key medical findings, and potentially harmful passages were reported. While further studies are needed, the initial insights of this study indicate a great potential in using large language models like ChatGPT to improve patient-centered care in radiology and other medical domains.

연구 동기 및 목표

• ChatGPT-간소화 방사선 보고서가 사실상 정확하고 완전하며 환자에게 안전한지 평가한다.
• 자동 간소화에서 나타나는 일반적 오류 유형과 잠재적 위해를 조사한다.
• 환자 중심 방사선 소통을 위한 대형언어모델(LLMs) 사용의 기회와 도전에 대한 초기 통찰을 제공한다.

제안 방법

• 경험 많은 방사선 전문의가 작성한 세 편의 허구의 방사선 보고서를 사용한 탐색적 사례 연구를 설계한다.
• 원래 보고서마다 15개의 고유한 간소화 버전을 생성하도록 ChatGPT에 프롬프트를 주어 총 45개 출력물을 생성한다.
• 15명의 방사선 전문의가 구조화된 설문지를 사용하여 간소화 보고서를 사실적 정확성, 완전성 및 잠재적 위해성 측면에서 평가하게 한다.
• 중앙값, 분위수, IQR, 최솟/최댓값, 평균, 표준편차 등의 기술통계로 평가를 분석하고 응답의 귀납적 자유서술 범주화를 수행한다.

실험 결과

연구 질문

• RQ1 ChatGPT가 생성한 간소화 방사선 보고서의 질에 대한 방사선 전문의의 의견은 무엇인가?
• RQ2 간소화된 보고서가 사실적이고 완전하며 환자에게 잠재적 위해를 초래하는가?
• RQ3 ChatGPT가 생성한 간소화에서 일반적인 오류 유형이나 누락은 무엇인가?
• RQ4 세 가지 원본 보고서 유형(Knee MRI, Head MRI, Oncol. CT) 간의 평점 차이는 어떻게 나타나는가?

주요 결과

• 방사선 전문의들은 간소화된 보고서가 사실적으로 정확하고 완전하다는 점에 일반적으로 동의했다(중앙값 = 2, 둘 다).
• 잠재적 위해도 평가는 변동성이 더 큰 것으로 나타났으며(중앙값 = 4) 중립 및 동의 응답이 함께 나타났다.
• 자유서술 분석은 의료 용어 오해, 불명확한 언어, 허구 진술, 여러 간소화 보고서에서 핵심 소견 누락 등의 오류를 드러냈다.
• 오해에는 감별진단이 최종 진단으로 제시되고 thyroid struma 같은 용어가 잘못 서술되는 것이 포함되었다.
• 간소화된 Knee MRI 보고서의 단어 수가 원본보다 길어지는 경향이 있었다(중앙값 414 vs 222).
• 보고서 전반에서 잘못된 구절은 참여자의 51%, 누락된 정보는 22%, 잠재적으로 해로운 결론은 36%가 지적했다.