[论文解读] Deep Lesion Graphs in the Wild: Relationship Learning and Organization of Significant Radiology Image Findings in a Diverse Large-scale Lesion Database

Ke Yan, Xiaosong Wang+5 more|arXiv (Cornell University)|Nov 28, 2017

AI in cancer detection被引用 17

一句话总结

本文提出了 DeepLesion，一个大规模、多样化的 CT 病灶数据集，包含来自 4,427 名患者的 32,120 个病灶，并提出了一种弱监督深度学习框架，利用病灶类型、位置和大小线索学习病灶嵌入表示。通过采用带顺序采样和自监督身体部位回归的三元组网络，该方法在基于内容的病灶检索和同患者内病灶匹配任务中达到最先进性能，实现了无需显式标注即可发现语义上相似的病灶。

ABSTRACT

Radiologists in their daily work routinely find and annotate significant abnormalities on a large number of radiology images. Such abnormalities, or lesions, have collected over years and stored in hospitals' picture archiving and communication systems. However, they are basically unsorted and lack semantic annotations like type and location. In this paper, we aim to organize and explore them by learning a deep feature representation for each lesion. A large-scale and comprehensive dataset, DeepLesion, is introduced for this task. DeepLesion contains bounding boxes and size measurements of over 32K lesions. To model their similarity relationship, we leverage multiple supervision information including types, self-supervised location coordinates and sizes. They require little manual annotation effort but describe useful attributes of the lesions. Then, a triplet network is utilized to learn lesion embeddings with a sequential sampling strategy to depict their hierarchical similarity structure. Experiments show promising qualitative and quantitative results on lesion retrieval, clustering, and classification. The learned embeddings can be further employed to build a lesion graph for various clinically useful applications. We propose algorithms for intra-patient lesion matching and missing annotation mining. Experimental results validate their effectiveness.

研究动机与目标

• 整理并探索医院 PACS 系统中缺乏语义标注的非结构化大规模放射科病灶数据。
• 通过利用临床工作流中现有的放射科标记（类型、大小、位置）实现弱监督，以减少人工标注负担。
• 学习能保留病灶类型、解剖位置和大小之间层次相似性的有意义病灶嵌入表示。
• 实现在不同患者之间基于内容的病灶检索以及用于纵向疾病追踪的同患者内病灶匹配。
• 利用自监督和弱监督表示构建病灶图谱，以支持临床应用。

提出的方法

• 从 PACS 构建 DeepLesion 数据集，包含来自 10,594 项检查和 4,427 名患者的 32,120 幅轴向 CT 切片，附带边界框和大小测量值。
• 使用伪标签方法将少量种子样本的病灶类型标签传播至整个数据集。
• 采用自监督身体部位回归器（SSBR）在无标注 CT 体积上预测 3D 相对身体位置（z 坐标），无需任何标注。
• 通过病灶类型、自监督位置和测量大小的分层组合定义相似性。
• 使用顺序采样策略训练三元组网络，学习反映类型、位置和大小综合相似性的病灶嵌入表示。
• 采用多尺度、多裁剪架构以捕捉病灶细节和上下文信息，并通过迭代优化改进噪声伪标签。

实验结果

研究问题

• RQ1 能否有效利用常规放射科标记（类型、大小、位置）实现弱监督，以在无需大量人工标注的情况下学习有意义的病灶嵌入表示？
• RQ2 深度嵌入模型能否学习病灶类型、解剖位置和大小之间的层次相似性，以支持基于内容的病灶检索？
• RQ3 所学习的嵌入表示能否实现跨多期 CT 检查的同患者内病灶匹配，以用于疾病进展追踪？
• RQ4 该模型能否泛化至发现未在训练中显式标注的不同解剖结构中的语义相似病灶？
• RQ5 自监督身体部位回归器在从无标注 CT 体积中估计解剖位置方面的有效性如何？

主要发现

• 自监督身体部位回归器（SSBR）在 18,195 张无标注切片的测试集上达到 95.99% 的分类准确率，错误主要出现在解剖边界模糊区域。
• 基于学习嵌入表示的内容驱动病灶检索成功检索到在类型、位置和大小上相似的病灶，包括在语义上相似但未标记的解剖结构中的病灶。
• 该方法在同患者内病灶匹配任务中表现出色，能够利用病灶图谱和所提出的算法，准确重建多期 CT 检查中的病灶序列。
• 采用顺序采样策略的三元组网络学习到的嵌入表示保留了层次相似性，从而实现了病灶的有效聚类与分类。
• 该框架在病灶检索、聚类和分类任务上均取得了有希望的定性和定量结果，失败案例主要源于病灶类型分类错误。
• 基于嵌入表示构建的病灶图谱支持了临床有用的临床应用，如纵向病灶追踪和基于病例的推理。