[논문 리뷰] The Impact of AI Assistance on Radiology Reporting: A Pilot Study Using Simulated AI Draft Reports

Julián Acosta, Siddhant Dogra외 5명|arXiv (Cornell University)|2024. 12. 16.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 pilot 연구는 20개의 산소 CT 영상에서 시뮬레이션된 GPT-4 기반 초안 보고서를 사용한 AI 보조 영상의학 보고서의 효과를 평가하였다. AI 초안을 사용한 영상의학자가 평균 보고 시간을 24% 단축시켰다 (573초에서 435초로, p=0.003), 임상적으로 중요한 오류의 유의미한 증가 없이, 이는 AI 초안이 실제 임상 워크플로우에서 효율성을 향상시키면서도 진단 정확도를 유지할 수 있음을 시사한다.

ABSTRACT

Radiologists face increasing workload pressures amid growing imaging volumes, creating risks of burnout and delayed reporting times. While artificial intelligence (AI) based automated radiology report generation shows promise for reporting workflow optimization, evidence of its real-world impact on clinical accuracy and efficiency remains limited. This study evaluated the effect of draft reports on radiology reporting workflows by conducting a three reader multi-case study comparing standard versus AI-assisted reporting workflows. In both workflows, radiologists reviewed the cases and modified either a standard template (standard workflow) or an AI-generated draft report (AI-assisted workflow) to create the final report. For controlled evaluation, we used GPT-4 to generate simulated AI drafts and deliberately introduced 1-3 errors in half the cases to mimic real AI system performance. The AI-assisted workflow significantly reduced average reporting time from 573 to 435 seconds (p=0.003), without a statistically significant difference in clinically significant errors between workflows. These findings suggest that AI-generated drafts can meaningfully accelerate radiology reporting while maintaining diagnostic accuracy, offering a practical solution to address mounting workload challenges in clinical practice.

연구 동기 및 목표

• 실제 임상 워크플로우 시뮬레이션에서 AI 생성 초안 보고서가 영상의학 보고서의 효율성과 진단 정확도에 미치는 영향을 평가하기 위해.
• 실제 AI 시스템의 한계를 반영하기 위해 1~3개의 의도적인 오류를 포함한 AI 초안을 사용할 때 영상의학자가 진단 정확도를 유지할 수 있는지 평가하기 위해.
• AI 보조 보고서를 임상 워크플로우에 통합할 때 영상의학자의 인지 부하와 사용성 인식을 평가하기 위해.
• 경력 수준과 워크플로우 선호도에 따라 개인 간의 반응 차이가 AI 보조에 미치는 영향을 파악하기 위해.
• AI 보조 보고서의 타당성과 이점에 대한 초보적 증거를 제공하여 영상의학자들의 업무 부담과 번아웃 감소에 기여하기 위해.

제안 방법

• CT-RATE 데이터셋에서 연령, 성별, 복잡도 지표로 매칭된 20개의 산소 CT 영상과 함께, 3명의 독자와 다수의 케이스를 활용한 교차 설계 연구를 수행하였다.
• GPT-4를 사용해 시뮬레이션된 AI 초안 보고서를 생성하였으며, 반수 케이스에 임상적으로 관련성이 있는 1~3개의 오류를 삽입하여 실제 AI 성능을 모방하였다.
• Flask, PostgreSQL, JavaScript/CSS를 사용해 자체 개발한 웹 플랫폼을 구축하여 독서 워크플로우를 호스팅하였으며, 워크리스트 및 보고서 편집 인터페이스를 포함하였다.
• 교차 설계를 통해 각 영상의학자가 표준 템플릿 기반 보고서와 AI 보조 보고서 워크플로우를 번갈아 사용하여 순서 효과와 개인 간 변동성을 통제하였다.
• 보고 시간, 임상적으로 중요한 오류, 사용자 인식 데이터를 설문 조사로 수집하였으며, 사용성, 정신적 노력, 추천 가능성 등을 평가하였다.
• 표준 워크플로우와 AI 보조 워크플로우 간의 보고 시간과 오류율을 비교하기 위한 통계 분석을 수행하였으며, 오류 수에 따른 하위군 분석도 실시하였다.

Figure 1 : Study overview. (A) Reader assignment and crossover between AI-assisted and unassisted workflows. (B) Unassisted workflow using standard template. (C) AI-assisted workflow with pre-generated drafts.

실험 결과

연구 질문

• RQ1 시뮬레이션된 임상 워크플로우에서 AI 보조 보고서는 표준 템플릿 기반 보고서에 비해 영상의학 보고 시간을 단축시키는가?
• RQ2 초안 보고서에 의도적인 AI 생성 오류가 존재할 경우 임상적으로 중요한 진단 오류가 통계적으로 유의미하게 증가하는가?
• RQ3 표준 템플릿 사용 대비 AI 보조 보고서의 사용성과 인지 부하에 대해 영상의학자는 어떻게 평가하는가?
• RQ4 영상의학자의 경험 수준이나 워크플로우 스타일에 따라 AI 보조의 효율성 및 정확도 향상 정도가 얼마나 다를 수 있는가?
• RQ5 AI 초안의 품질(예: 오류 빈도)과 영상의학자가 오류를 탐지하고 수정하는 데의 성과 사이에 어떤 관계가 있는가?

주요 결과

• AI 보조 워크플로우는 평균 보고 시간을 573초에서 435초로 24% 단축시켰다 (p=0.003).
• 표준 템플릿 워크플로우(평균 0.38, 표준편차 0.78)와 AI 초안 워크플로우(평균 0.27, 표준편차 0.52) 간에 임상적으로 중요한 오류에 유의미한 차이가 없었다.
• 세 명의 독자 전원이 AI 보조 시스템이 사용하기 쉽고 임상 워크플로우에 잘 통합될 수 있다고 동의했다.
• 세 명의 독자 중 두 명이 AI 보조로 정신적 노력이 감소했다고 보고하였으며, 한 명은 유의미하게 감소했다고 평가했다.
• 추천 점수는 5, 9, 10점 중 10점 만점이었으며, 강한 사용성 피드백에도 불구하고 혼합된 열정을 보였다.
• 기초적 하위군 분석 결과, 의도적으로 오류를 삽입한 AI 초안과 삽입하지 않은 초안 간에 오류율에 유의미한 차이가 없었으며, 이는 영상의학자가 효과적으로 결함을 탐지하고 수정했다는 것을 시사한다.

Figure 2 : Reporting platform. Top: normal negative template case. Bottom: AI-drafted case.