[论文解读] Towards a Guideline for Evaluation Metrics in Medical Image Segmentation

Dominik Müller, Iñaki Soto‐Rey+1 more|arXiv (Cornell University)|Feb 10, 2022

Radiomics and Machine Learning in Medical Imaging被引用 6

一句话总结

本文提出了一套标准化的医学图像分割模型评估指南，采用10项关键指标（包括Dice、Jaccard和Hausdorff距离），以解决指标误用和统计偏差的普遍问题。该指南提供了清晰的解释和实现指导，以提升人工智能驱动的医学图像分割研究中的可重现性、可比性和可靠性。

ABSTRACT

In the last decade, research on artificial intelligence has seen rapid growth with deep learning models, especially in the field of medical image segmentation. Various studies demonstrated that these models have powerful prediction capabilities and achieved similar results as clinicians. However, recent studies revealed that the evaluation in image segmentation studies lacks reliable model performance assessment and showed statistical bias by incorrect metric implementation or usage. Thus, this work provides an overview and interpretation guide on the following metrics for medical image segmentation evaluation in binary as well as multi-class problems: Dice similarity coefficient, Jaccard, Sensitivity, Specificity, Rand index, ROC curves, Cohen's Kappa, and Hausdorff distance. As a summary, we propose a guideline for standardized medical image segmentation evaluation to improve evaluation quality, reproducibility, and comparability in the research field.

研究动机与目标

• 解决医学图像分割研究中日益严重的不可靠且不一致的评估实践问题。
• 识别导致性能评估产生偏差的指标实现与使用中的常见错误。
• 为二值和多类别分割任务中广泛使用的评估指标提供全面的解释指南。
• 建立一个标准化框架，以提升医学人工智能研究中的可重现性、可比性和科学严谨性。
• 推广最佳实践，以确保评估指标的选择与应用合理可信，从而保障模型评估的有效性与可信度。

提出的方法

• 系统性地回顾并分析10种常用评估指标：Dice、Jaccard、敏感度、特异度、Rand指数、ROC曲线、Cohen’s Kappa以及Hausdorff距离。
• 在医学图像分割的背景下，解释每项指标的数学公式及其实际意义。
• 突出指标实现中的常见陷阱，例如对类别不平衡处理不当或在多类别问题中错误应用指标。
• 基于临床相关性和统计合理性，提供每项指标适用场景和使用方法的明确建议。
• 整合近期研究中揭示的分割评估中统计偏差的发现，以指导最佳实践。
• 为研究人员开发一套结构化指南，以确保在不同研究中一致地选择、应用和报告评估指标。

实验结果

研究问题

• RQ1 在医学图像分割中，评估指标实现与解释的最常见错误是什么？
• RQ2 在临床环境中，哪些评估指标最适合二值分割与多类别分割任务？
• RQ3 评估指标使用中的统计偏差如何影响深度学习模型在医学图像分割中的性能表现？
• RQ4 应依据哪些标准来选择评估指标，以确保其可靠性与临床相关性？
• RQ5 标准化评估框架如何提升医学人工智能研究中不同研究之间的可重现性与可比性？

主要发现

• 许多医学图像分割研究存在评估指标使用错误或不一致的问题，导致性能声明产生误导。
• Dice和Jaccard等指标虽被广泛使用，但常被误解或在未考虑类别不平衡或空间分布的情况下应用。
• Hausdorff距离对异常值敏感，应谨慎使用，尤其是在结构稀疏的情况下。
• Cohen’s Kappa和Rand指数尽管能有效考虑偶然一致性，但在多类别分割中仍被低估和未充分使用。
• 当未考虑阈值设定和类别分布时，ROC曲线在分割任务中并不适用。
• 所提出的指南显著提升了评估透明度，并降低了模型基准测试中统计偏差的风险。