[论文解读] Deep Learning Segmentation in 2D echocardiography using the CAMUS dataset : Automatic Assessment of the Anatomical Shape Validity

Sarah Leclerc, Erik Smistad+10 more|arXiv (Cornell University)|Aug 8, 2019

Radiomics and Machine Learning in Medical Imaging参考文献 8被引用 6

一句话总结

本文引入了解剖形状有效性度量——凸性与简洁性，以超越传统几何与临床指标，评估基于深度学习的2D超声心动图分割。基于CAMUS数据集，研究发现即使表现最佳的U-Net模型也会产生显著的解剖异常值（高达26%），表明标准指标无法检测出生物学上不可能的形状，因此倡导在心脏分割中采用形状感知的评估方法。

ABSTRACT

We recently published a deep learning study on the potential of encoder-decoder networks for the segmentation of the 2D CAMUS ultrasound dataset. We propose in this abstract an extension of the evaluation criteria to anatomical assessment, as traditional geometric and clinical metrics in cardiac segmentation do not take into account the anatomical correctness of the predicted shapes. The completed study sheds a new light on the ranking of models.

研究动机与目标

• 解决标准分割度量在检测心脏超声分割中解剖上不合理的形状方面的局限性。
• 评估深度学习模型（尤其是U-Net变体）是否会产生几何上准确但解剖上无效的分割结果。
• 开发并验证反映左心室和心肌轮廓解剖合理性的基于形状的准则——凸性与简洁性。
• 通过结合几何与解剖度量的框架重新评估模型性能，以提升模型排名与临床相关性。
• 证明即使Dice或距离得分较高，模型仍可能产生解剖上不可能的形状，因此需要采用形状感知的评估方法。

提出的方法

• 提出两种基于形状的度量：凸性（Cx）= Area(S) / Area(ConvHull(S)) 和简洁性（Sp）= √(4π·Area(S)) / Perimeter(S)，源自专家标注的分割结果。
• 使用专家推导的最小阈值（例如，LV-epi的Cx > 0.960，Sp > 0.694）定义解剖有效性的边界。
• 将这些度量应用于评估8种分割算法（包括U-Net 1、U-Net 2及非深度学习方法）在CAMUS数据集（500名患者，1000个2D视图）上的表现。
• 若分割结果在Cx或Sp上低于专家推导的阈值，则将其分类为“解剖异常值”，且不依赖Dice或距离得分。
• 结合几何度量（Dice、MD、HD）与解剖异常值率，重新评估模型性能，揭示标准度量与解剖度量之间的差异。
• 通过轮廓形变（如非椭圆形左心室、不规则心肌）可视化解剖异常值，以说明局部形状违规。

实验结果

研究问题

• RQ1 传统分割度量（如Dice和Hausdorff距离）是否可能无法检测出2D超声心动图中解剖上不合理的分割？
• RQ2 即使几何精度高，深度学习模型是否仍会产生违反基本解剖形状约束的分割？
• RQ3 凸性与简洁性度量能否作为心脏结构分割中解剖合理性的可靠指标？
• RQ4 在不考虑几何性能的前提下，模型复杂度与参数量在多大程度上影响解剖异常值的产生？
• RQ5 与标准评估协议相比，引入解剖度量后，分割模型的排名发生了怎样的变化？

主要发现

• U-Net 1与U-Net 2均产生了显著的解剖异常值——分别为95例与318例，尽管其几何性能出色，表明几何与解剖有效性之间存在脱节。
• 尽管U-Net 2在Dice、MD与HD上优于U-Net 1，但其在423例异常值中仅有71例为解剖上有效（占17%），而U-Net 1则有231例（占55%），表明更高复杂度会增加解剖错误。
• 专家推导的解剖有效性最小阈值为：LV-epi的Cx > 0.960且Sp > 0.694，LV-endo的Cx > 0.741且Sp > 0.529，这些阈值被深度学习模型持续违反。
• 解剖异常值对局部形变敏感，如非椭圆形左心室轮廓或不规则心肌边界，这些在图1中可被肉眼识别。
• 仅依赖传统度量不足以评估模型性能，因为高Dice得分的模型（如U-Net 2）仍可能产生高达26%的解剖异常值，凸显了形状感知评估的必要性。
• 本研究证明，凸性与简洁性等解剖度量可检测出几何度量所遗漏的临床不切实际形状，为标准评估提供了必要补充。