[论文解读] Learning from Multiple Datasets with Heterogeneous and Partial Labels for Universal Lesion Detection in CT

Ke Yan, Jinzheng Cai+8 more|arXiv (Cornell University)|Sep 5, 2020

Radiomics and Machine Learning in Medical Imaging参考文献 67被引用 9

一句话总结

该论文提出Lesion ENSemble（LENS），一种多任务学习框架，可统一异构且部分标注的CT数据集，实现通用病灶检测。通过融合多个数据集特定检测器的候选区域，并利用临床先验知识和跨数据集知识迁移挖掘缺失标注，LENS在DeepLesion数据集上的平均敏感度相比最先进方法提升了49%。

ABSTRACT

Large-scale datasets with high-quality labels are desired for training accurate deep learning models. However, due to the annotation cost, datasets in medical imaging are often either partially-labeled or small. For example, DeepLesion is such a large-scale CT image dataset with lesions of various types, but it also has many unlabeled lesions (missing annotations). When training a lesion detector on a partially-labeled dataset, the missing annotations will generate incorrect negative signals and degrade the performance. Besides DeepLesion, there are several small single-type datasets, such as LUNA for lung nodules and LiTS for liver tumors. These datasets have heterogeneous label scopes, i.e., different lesion types are labeled in different datasets with other types ignored. In this work, we aim to develop a universal lesion detection algorithm to detect a variety of lesions. The problem of heterogeneous and partial labels is tackled. First, we build a simple yet effective lesion detection framework named Lesion ENSemble (LENS). LENS can efficiently learn from multiple heterogeneous lesion datasets in a multi-task fashion and leverage their synergy by proposal fusion. Next, we propose strategies to mine missing annotations from partially-labeled datasets by exploiting clinical prior knowledge and cross-dataset knowledge transfer. Finally, we train our framework on four public lesion datasets and evaluate it on 800 manually-labeled sub-volumes in DeepLesion. Our method brings a relative improvement of 49% compared to the current state-of-the-art approach in the metric of average sensitivity. We have publicly released our manual 3D annotations of DeepLesion in https://github.com/viggin/DeepLesion_manual_test_set.

研究动机与目标

• 为解决从具有异构标签和部分标注的多个医学影像数据集中训练通用病灶检测器的挑战。
• 通过利用标签范围和标注质量各异的多样化数据集之间的协同效应，提升病灶检测性能。
• 开发一种方法，可在CT扫描中检测多种器官的广泛病灶类型，模拟放射科医生的工作流程。
• 缓解大规模数据集（如DeepLesion）中因缺失标注导致的性能下降问题。

提出的方法

• LENS采用多任务学习框架，在多个数据集特定的病灶检测器之间共享特征，同时融合各专家的区域提议，以提升检测敏感度。
• 采用提议融合策略，聚合来自不同数据集专家的检测结果，以提升各类病灶的召回率。
• 利用临床先验知识（如病灶大小、位置和解剖学合理性）挖掘部分标注数据集中的缺失标注。
• 应用跨数据集知识迁移，将标注良好的数据集（如LUNA、LiTS）中的检测知识迁移到标注不足的数据集（如DeepLesion）中，以改善特征学习。
• 使用假阳性减少分类器抑制单个专家的错误检测，提升精确度。
• 该框架在四个公开数据集（DeepLesion、LUNA、LiTS及其他）上进行训练，并在DeepLesion的800个子体积手动筛选测试集上进行评估。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效从具有不同标签范围和标注完整度的多个异构病灶数据集中进行学习？
• RQ2 如何在无需人工重新标注的情况下，有效恢复部分标注数据集中的缺失标注？
• RQ3 多数据集联合学习能否提升对标注良好和标注不足的病灶类型的检测性能？
• RQ4 通过多个数据集特定专家的提议融合，在通用病灶检测中能在多大程度上提升敏感度？
• RQ5 临床先验知识和跨数据集知识迁移能否在数据稀缺场景下提升检测性能？

主要发现

• 在DeepLesion测试集上，LENS相比最先进方法实现了49%的平均敏感度相对提升，证明了显著的性能增益。
• 在多个数据集上联合训练在所有单病灶类型数据集上均持续提升了检测性能，尤其在训练数据有限时表现更优。
• 在LUNA基准上，模型在官方评估指标下的平均敏感度达到0.898，未使用模型集成或特殊后处理，排名62支队伍中的第6位。
• 通过提议融合整合多个数据集专家的检测结果，显著提高了召回率，尤其对单专家模型遗漏的罕见或细微病灶效果明显。
• 利用临床先验知识和跨数据集知识迁移，有效挖掘了缺失标注，减轻了部分标注带来的负面影响。
• 该框架对数据集间的分布偏移表现出鲁棒性，提升了在多种病灶类型和解剖位置上的泛化能力。