[論文レビュー] The Impact of AI Assistance on Radiology Reporting: A Pilot Study Using Simulated AI Draft Reports

Julián Acosta, Siddhant Dogra+5 more|arXiv (Cornell University)|Dec 16, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

このパイロット研究では、20例の胸部CT画像を対象に、GPT-4が生成した模擬的なAIドラフトレポートを用いたAI支援レポート作成の有効性を評価した。放射線科医がAIドラフトを用いることで、平均レポート作成時間を573秒から435秒に24%短縮（p=0.003）したが、臨床的に有意な誤差は有意に増加しなかった。これは、AIドラフトが現実の臨床ワークフローにおいて効率性を高めつつ、診断の正確性を維持できる可能性を示唆している。

ABSTRACT

Radiologists face increasing workload pressures amid growing imaging volumes, creating risks of burnout and delayed reporting times. While artificial intelligence (AI) based automated radiology report generation shows promise for reporting workflow optimization, evidence of its real-world impact on clinical accuracy and efficiency remains limited. This study evaluated the effect of draft reports on radiology reporting workflows by conducting a three reader multi-case study comparing standard versus AI-assisted reporting workflows. In both workflows, radiologists reviewed the cases and modified either a standard template (standard workflow) or an AI-generated draft report (AI-assisted workflow) to create the final report. For controlled evaluation, we used GPT-4 to generate simulated AI drafts and deliberately introduced 1-3 errors in half the cases to mimic real AI system performance. The AI-assisted workflow significantly reduced average reporting time from 573 to 435 seconds (p=0.003), without a statistically significant difference in clinically significant errors between workflows. These findings suggest that AI-generated drafts can meaningfully accelerate radiology reporting while maintaining diagnostic accuracy, offering a practical solution to address mounting workload challenges in clinical practice.

研究の動機と目的

• 実際の臨床ワークフローのシミュレーションにおいて、AIが生成するドラフトレポートがレポート作成の効率性および診断の正確性に与える影響を評価すること。
• AIドラフトに1〜3件の意図的な誤りを含めることで、実際のAIシステムの限界を模倣し、放射線科医がそのような状況下でも診断の正確性を維持できるかを評価すること。
• 臨床ワークフローにAI支援レポートを統合する際の放射線科医の認知的負荷および使いやすさの認識を調査すること。
• 経験年数やワークフローの好みに応じた個々の放射線科医の反応のばらつきを特定すること。
• AI支援レポートの実用性と利点に関する予備的証拠を提供し、放射線科医の作業負荷および燃え尽きの軽減に寄与すること。

提案手法

• 年齢、性別、複雑さの指標でマッチングされた20例の胸部CT画像（CT-RATEデータセットより）を用いた、3名の読影医が参加するマルチケースクロスオーバー研究を実施した。
• GPT-4を用いて模擬的なAIドラフトレポートを生成し、半数の症例に臨床的に関連する誤りを1〜3件挿入することで、実際のAI性能を模倣した。
• Flask、PostgreSQL、JavaScript/CSSを用いたカスタムWebプラットフォームを構築し、ワークリストおよびレポート編集インターフェースを含む読影ワークフローをホスティングした。
• クロスオーバー設計を採用し、各放射線科医が標準テンプレートベースのレポート作成とAI支援レポート作成を交互に実施することで、順序効果および個人差の影響を制御した。
• レポート作成時間、臨床的に有意な誤差、およびユーザーパーソナリティデータ（使いやすさ、精神的負担、推奨可能性）を評価するアンケートを実施した。
• 標準ワークフローとAI支援ワークフローの間で、レポート作成時間および誤差率を統計的に比較し、誤差数別サブグループ分析も実施した。

Figure 1 : Study overview. (A) Reader assignment and crossover between AI-assisted and unassisted workflows. (B) Unassisted workflow using standard template. (C) AI-assisted workflow with pre-generated drafts.

実験結果

リサーチクエスチョン

• RQ1 模擬的な臨床ワークフローにおいて、AI支援レポート作成は標準的なテンプレートベースのレポート作成と比較して、レポート作成時間を短縮するか？
• RQ2 ドラフトレポートに意図的なAI生成誤りが存在する場合、臨床的に有意な診断誤差が統計的に有意に増加するか？
• RQ3 放射線科医は、AI支援レポート作成を標準的なテンプレート使用と比較して、使いやすさおよび認知的負荷に関してどのように認識しているか？
• RQ4 放射線科医の経験年数やワークフローの好みに応じた個々のばらつきが、AI支援による効率性および正確性の向上にどの程度影響を及えるか？
• RQ5 AIドラフトの品質（例：誤り頻度）と、放射線科医が誤りを検出し修正する能力との関係は何か？

主な発見

• AI支援ワークフローにより、平均レポート作成時間は573秒から435秒に短縮され、24%の短縮が達成された（p=0.003）。
• 標準テンプレート（平均0.38、標準偏差0.78）とAIドラフト（平均0.27、標準偏差0.52）の両ワークフロー間で、臨床的に有意な誤差に差は認められなかった。
• 3名の読影医全員が、AI支援システムが使いやすく、臨床ワークフローにスムーズに統合可能であると回答した。
• 3名中2名がAI支援により精神的負担が軽減されたと報告し、1名は著しく負担が減少したと報告した。
• 推奨度スコアは5、9、10（満点10点）と変動し、使いやすさのフィードバックは強くても、熱意にはばらつきが見られた。
• 探索的サブグループ分析では、誤りを挿入したAIドラフトと挿入しないドラフトの間で誤差率の差は有意に認められず、放射線科医が誤りを効果的に検出し修正していることが示唆された。

Figure 2 : Reporting platform. Top: normal negative template case. Bottom: AI-drafted case.