[论文解读] Lung-Originated Tumor Segmentation from Computed Tomography Scan (LOTUS) Benchmark

Parnian Afshar, Arash Mohammadi+23 more|arXiv (Cornell University)|Jan 3, 2022

Lung Cancer Diagnosis and Treatment被引用 5

一句话总结

LOTUS基准引入了一个标准化的数据集和评估框架，用于CT扫描中的肺肿瘤分割，实现了基于深度学习方法的公平比较。参赛者在含肿瘤的切片上获得的Dice分数介于0.52至0.59之间，Markovian团队因分割精度更优而胜出，尽管误报仍是需要进一步改进的关键挑战。

ABSTRACT

Lung cancer is one of the deadliest cancers, and in part its effective diagnosis and treatment depend on the accurate delineation of the tumor. Human-centered segmentation, which is currently the most common approach, is subject to inter-observer variability, and is also time-consuming, considering the fact that only experts are capable of providing annotations. Automatic and semi-automatic tumor segmentation methods have recently shown promising results. However, as different researchers have validated their algorithms using various datasets and performance metrics, reliably evaluating these methods is still an open challenge. The goal of the Lung-Originated Tumor Segmentation from Computed Tomography Scan (LOTUS) Benchmark created through 2018 IEEE Video and Image Processing (VIP) Cup competition, is to provide a unique dataset and pre-defined metrics, so that different researchers can develop and evaluate their methods in a unified fashion. The 2018 VIP Cup started with a global engagement from 42 countries to access the competition data. At the registration stage, there were 129 members clustered into 28 teams from 10 countries, out of which 9 teams made it to the final stage and 6 teams successfully completed all the required tasks. In a nutshell, all the algorithms proposed during the competition, are based on deep learning models combined with a false positive reduction technique. Methods developed by the three finalists show promising results in tumor segmentation, however, more effort should be put into reducing the false positive rate. This competition manuscript presents an overview of the VIP-Cup challenge, along with the proposed algorithms and results.

研究动机与目标

• 解决CT扫描中肺肿瘤分割缺乏标准化数据集和评估指标的问题。
• 通过减少专家手动勾画肿瘤的时间和观察者间差异，缓解时间约束和人为变异。
• 实现不同研究团队之间自动和半自动分割方法的公平、可复现且可比较的评估。
• 通过精确的肿瘤分割提升早期肺癌诊断水平，支持放射组学和治疗方案规划。
• 识别并缓解当前基于深度学习的分割方法中主要存在的误报检测问题。

提出的方法

• 该基准基于2018年IEEE VIP-Cup竞赛创建，采用更新版本的NSCLC-Radiomics数据集，包含更正且完整的标注。
• 参赛者应用深度学习模型，主要为卷积神经网络（CNN），并结合后处理技术（如误报减少）以优化分割结果。
• 制定了预定义的评估协议，使用Dice分数和Hausdorff距离作为主要性能评估指标。
• 数据集包含129名受试者，其肺结节已标注，分割结果在含肿瘤的切片上逐切片评估。
• 通过Wilcoxon秩和检验评估结果的统计显著性，证实了各团队表现之间存在显著差异。
• 最终排名基于分割精度和误报控制能力确定，获胜团队（Markovian）在敏感性和特异性之间实现了最佳平衡。

实验结果

研究问题

• RQ1 如何建立一个标准化基准，以实现在CT扫描中肺肿瘤分割方法的公平且可复现的评估？
• RQ2 基于深度学习的分割模型在实现高Dice分数的同时，能在多大程度上最小化误报检测？
• RQ3 当前自动分割方法的主要局限性是什么，特别是在识别含肿瘤切片和减少误报方面？
• RQ4 不同的后处理技术（如误报减少）如何影响最终分割的精度和可靠性？
• RQ5 统一的数据集和评估框架能否提升不同研究团队在肺肿瘤分割研究中的一致性和可比性？

主要发现

• 获胜团队Markovian在分割精度方面表现最佳，其Dice分数显著优于其他团队，经统计检验确认（p < 0.05）。
• 各团队在含肿瘤切片上的Dice分数范围为0.52至0.59，表明分割精度中等至良好，但仍存在改进空间。
• 未实施误报减少的NTU-MiRA团队排名第三，凸显该步骤在提升临床相关性方面的重要性。
• 失败案例显示，即使视觉上合理的分割结果也可能是误报，强调了改进肿瘤检测机制的必要性。
• 统计分析证实，所有成对性能差异均具有显著性（p < 0.05），验证了基准评估协议的稳健性。
• LOTUS基准成功实现了方法的标准化比较，证明了统一数据集和指标在医学图像分析研究中的价值。