[论文解读] Leveraging Professional Radiologists' Expertise to Enhance LLMs' Evaluation for Radiology Reports

Qingqing Zhu, Xiuying Chen+7 more|PubMed|Jan 29, 2024

Radiology practices and education参考文献 7被引用 5

一句话总结

本文将放射科医生的专业知识与上下文指令学习（ICIL）和链式推理（CoT）相结合，使用大语言模型（LLMs）创建一个详细、可解释的AI放射学报告评估框架，并以传统指标进行基准比较。

ABSTRACT

In radiology, Artificial Intelligence (AI) has significantly advanced report generation, but automatic evaluation of these AI-produced reports remains challenging. Current metrics, such as Conventional Natural Language Generation (NLG) and Clinical Efficacy (CE), often fall short in capturing the semantic intricacies of clinical contexts or overemphasize clinical details, undermining report clarity. To overcome these issues, our proposed method synergizes the expertise of professional radiologists with Large Language Models (LLMs), like GPT-3.5 and GPT-4. Utilizing In-Context Instruction Learning (ICIL) and Chain of Thought (CoT) reasoning, our approach aligns LLM evaluations with radiologist standards, enabling detailed comparisons between human and AI-generated reports. This is further enhanced by a Regression model that aggregates sentence evaluation scores. Experimental results show that our "Detailed GPT-4 (5-shot)" model achieves a 0.48 score, outperforming the METEOR metric by 0.19, while our "Regressed GPT-4" model shows even greater alignment with expert evaluations, exceeding the best existing metric by a 0.35 margin. Moreover, the robustness of our explanations has been validated through a thorough iterative strategy. We plan to publicly release annotations from radiology experts, setting a new standard for accuracy in future assessments. This underscores the potential of our approach in enhancing the quality assessment of AI-driven medical reports.

研究动机与目标

• 利用放射科医生的专业知识改善对 AI 生成的放射学报告的自动评估。
• 将上下文指令学习（ICIL）和链式思维推理（CoT）与大语言模型（LLMs）结合，实现定性与定量评估。
• 开发基于回归的句子级评估聚合，以产生与专家判断对齐的整体报告分数。
• 提供可解释的评估，并计划公开放射科医生注释，以提升未来评估的准确性。

提出的方法

• 使用带有 ICIL 和 CoT 的 GPT-3.5 和 GPT-4 来评估原始报告与预测报告。
• 放射科医生制定指令和评估模板，引导LLMs给出逐句分数和解释。
• 一个回归模型将句子分数聚合成总体分数，使用诸如句子分数比（ro0、ro0.5、ro1、ro−1、rp0、rp0.5、rp1、rp−1）等特征。
• 迭代验证：生成的解释和经改进的报告将再次进入评估循环，以验证解释质量。
• 与生成语言（NLG）指标（BLEU、METEOR、ROUGE-L）和CE指标（CheXpert 标签）进行比较，并对100对原始-预测进行人工评估。
• 使用肯德尔相关系数（Kendall’s Tau）和科恩系数（Cohen’s Kappa）在多种 GPT 配置下评估与人类判断的一致性（GPT-4 与 GPT-3.5；1-shot vs 5-shot；简单指令 vs 详细指令）。

实验结果

研究问题

• RQ1 在放射科医生引导的 ICIL 与 CoT 下，LLMs 是否能比传统指标更接近专家判断地评估放射学报告？
• RQ2 回归聚合的句子分数是否与专家评估的相关性比单个句子分数或标准指标更强？
• RQ3 提供解释（CoT）是否改善 LLM 评估与人类专家的一致性？在 GPT-4 与 GPT-3.5 之间有何差异？
• RQ4 在不同模板、指令细节水平和模板数量（1-shot vs 5-shot）下，所提框架是否具备鲁棒性？
• RQ5 放射科医生撰写的指令与模板如何影响 AI 辅助评估的可解释性和可靠性？

主要发现

• 详细化的 GPT-4（5-shot）模型在与专家评估的一致性方面比 METEOR 高出 0.19。
• 回归型 GPT-4 模型在与专家评估的一致性方面表现更强，超出现有最佳指标0.35。
• 在多种条件下，GPT-4 常常优于 GPT-3.5，详细指令提升了 GPT-4 的表现。
• LLM 提供的解释提高了与人类判断的一致性；若无解释，相关性显著下降。
• 迭代验证步骤提高了各项指标下重新生成报告的质量。
• 在句子级评估中，5-shot 详细 GPT-4 的 Cohen’s Kappa 接近放射科医生 Rater2/Rater3 水平，显示出强烈的专家水平表现。