[论文解读] A clinically motivated self-supervised approach for content-based image retrieval of CT liver images

Kristoffer Wickstrøm, Eirik Agnalt Østmo+4 more|arXiv (Cornell University)|Jul 11, 2022

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

该论文提出了一种临床动机的自监督学习框架，用于CT肝脏图像的内容检索（CBIR），通过引入Hounsfield单位裁剪以聚焦于肝脏组织，从而提升性能和泛化能力。该研究首次对CBIR中的表示学习可解释性进行了分析，揭示了具有临床意义的特征提取过程，增强了可信度。

ABSTRACT

Deep learning-based approaches for content-based image retrieval (CBIR) of CT liver images is an active field of research, but suffers from some critical limitations. First, they are heavily reliant on labeled data, which can be challenging and costly to acquire. Second, they lack transparency and explainability, which limits the trustworthiness of deep CBIR systems. We address these limitations by (1) proposing a self-supervised learning framework that incorporates domain-knowledge into the training procedure and (2) providing the first representation learning explainability analysis in the context of CBIR of CT liver images. Results demonstrate improved performance compared to the standard self-supervised approach across several metrics, as well as improved generalisation across datasets. Further, we conduct the first representation learning explainability analysis in the context of CBIR, which reveals new insights into the feature extraction process. Lastly, we perform a case study with cross-examination CBIR that demonstrates the usability of our proposed framework. We believe that our proposed framework could play a vital role in creating trustworthy deep CBIR systems that can successfully take advantage of unlabeled data.

研究动机与目标

• 解决深度CBIR系统在训练过程中对大量标注数据的依赖这一关键局限性。
• 通过将领域特定知识整合到自监督学习中，提升模型在不同数据集上的性能与泛化能力。
• 首次在CT肝脏图像CBIR背景下开展表示学习可解释性分析，以增强透明度与临床信任。
• 在涉及患者扫描交叉检查的真实临床场景中，验证该框架的可用性。
• 通过设计聚焦于临床相关解剖结构的方法，实现CBIR中未标注数据的有效利用。

提出的方法

• 提出一种自监督学习框架，在训练过程中应用Hounsfield单位（HU）裁剪，从CT图像中分离出肝脏组织，减少非肝脏结构带来的噪声。
• 使用对比学习方法，以肝脏相关区域的增强视图作为正样本对，训练特征提取器以学习具有区分性的、器官特异的表示。
• 通过设计针对肝脏组织HU范围（通常为40–120 HU）的数据增强与裁剪策略，融入临床知识，提升特征的相关性。
• 应用RELAX框架进行表示学习可解释性分析，以解释哪些输入特征影响了学习到的表示。
• 端到端训练模型，使用对比损失最大化正样本对之间的相似性，同时最小化负样本对之间的相似性。
• 在多个数据集上评估该框架，包括跨数据集泛化能力，以评估其鲁棒性与临床适用性。

实验结果

研究问题

• RQ1 与标准自监督基线相比，利用领域特定知识（如肝脏组织的HU范围）的自监督学习框架是否能提升CT肝脏图像CBIR的性能？
• RQ2 该方法在临床环境中不同数据集和扫描协议下的泛化能力如何？
• RQ3 表示学习可解释性技术在多大程度上能揭示自监督CBIR模型中的临床有意义特征？
• RQ4 在真实临床场景中，例如追踪肝脏转移灶的时序变化，该框架能否成功检索出具有诊断相关性的图像？
• RQ5 通过HU裁剪聚焦于肝脏特异性区域，是否能带来更具可解释性与可信度的表示？

主要发现

• 所提出的自监督框架在多个指标上均优于标准自监督基线，包括更高的mAP和召回率。
• 在外部数据集上的评估表明，该模型展现出优越的泛化能力，表明其对扫描协议和成像设置差异具有鲁棒性。
• 基于RELAX的表示学习可解释性分析显示，模型学习到的特征与肝脏中临床相关的解剖与病理模式高度一致。
• 在交叉检查案例研究中，CBIR系统成功检索到与放射科医生选定参考图像匹配的图像，证实了其临床可用性。
• 系统能够检索到与放射科医生选择图像相似的结果，尽管其排序缺乏空间一致性，提示通过建模局部上下文信息可进一步优化。
• 基于HU的裁剪集成显著提升了特征质量，通过抑制无关解剖结构，使表示更加聚焦且具有临床意义。