[论文解读] Geometric Visual Similarity Learning in 3D Medical Image Self-supervised Pre-training

Yuting He, Guanyu Yang+5 more|arXiv (Cornell University)|Mar 2, 2023

AI in cancer detection被引用 4

一句话总结

本文提出几何视觉相似性学习（GVSL），一种新颖的自监督预训练框架，用于3D医学影像，通过利用拓扑不变性来提升图像间相似性的度量。通过引入一个Z匹配头，联合学习全局与局部几何对应关系，GVSL实现了语义区域间的一致表征学习，在四个3D医学影像基准数据集上的场景内、跨场景以及全局-局部迁移任务中显著提升了性能。

ABSTRACT

Learning inter-image similarity is crucial for 3D medical images self-supervised pre-training, due to their sharing of numerous same semantic regions. However, the lack of the semantic prior in metrics and the semantic-independent variation in 3D medical images make it challenging to get a reliable measurement for the inter-image similarity, hindering the learning of consistent representation for same semantics. We investigate the challenging problem of this task, i.e., learning a consistent representation between images for a clustering effect of same semantic features. We propose a novel visual similarity learning paradigm, Geometric Visual Similarity Learning, which embeds the prior of topological invariance into the measurement of the inter-image similarity for consistent representation of semantic regions. To drive this paradigm, we further construct a novel geometric matching head, the Z-matching head, to collaboratively learn the global and local similarity of semantic regions, guiding the efficient representation learning for different scale-level inter-image semantic features. Our experiments demonstrate that the pre-training with our learning of inter-image similarity yields more powerful inner-scene, inter-scene, and global-local transferring ability on four challenging 3D medical image tasks. Our codes and pre-trained models will be publicly available on https://github.com/YutingHe-list/GVSL.

研究动机与目标

• 解决由于语义无关的外观变化导致的3D医学影像自监督预训练中图像间相似性度量不可靠的问题。
• 通过将拓扑不变性作为先验嵌入，克服现有方法（聚类式、对比式、生成式）的局限，实现鲁棒的相似性学习。
• 构建一个统一框架，联合优化几何匹配与自重建任务，以增强不同图像中相同语义区域的特征一致性。
• 提升预训练模型在多样化下游任务中的可迁移性，包括场景内、跨场景以及全局-局部迁移设置。

提出的方法

• 提出一种新范式——几何视觉相似性学习（GVSL），将拓扑不变性作为归纳偏差，以稳定3D医学影像中的图像间相似性度量。
• 设计一个Z匹配头，通过可微分的几何匹配机制，学习图像对之间的全局与局部几何对应关系。
• 整合自重建掩蔽任务，提供基础且鲁棒的视觉语义表征，支持几何匹配任务的优化。
• 使用归一化互相关（NCC）损失作为几何匹配的监督信号，实现因外观变化而异的图像间语义区域对齐。
• 采用端到端训练策略，结合自重建与几何匹配的多任务目标，Z匹配头引导一致的特征学习。
• 利用3D医学影像的空间完整性与解剖一致性，挖掘拓扑不变性以实现可靠的语义对应发现。

实验结果

研究问题

• RQ1 如何利用3D医学影像中的拓扑不变性来提升自监督预训练中图像间相似性度量的可靠性？
• RQ2 一个联合学习全局与局部对应关系的几何匹配头，能否增强不同图像中相同语义区域表征的一致性？
• RQ3 将几何匹配与自重建掩蔽任务结合，在多大程度上能改善语义特征聚类效果与下游迁移性能？
• RQ4 GVSL在3D医学影像任务中，相较于现有自监督方法，在场景内、跨场景以及全局-局部迁移能力方面表现如何？

主要发现

• GVSL显著改善了局部特征的聚类效果，不同语义区域的聚类更加清晰分离，尤其在同时使用自重建与Z匹配时表现更优。
• Z匹配头即使在显著的外观变化下，也能有效学习几何对应关系，表现为NCC损失收敛且特征对齐性能提升。
• 自重建与几何匹配的结合，产生的特征比单一任务更具代表性与区分性。
• GVSL在四个具有挑战性的3D医学影像任务中均表现出色，展现出卓越的场景内、跨场景及全局-局部迁移能力。
• 消融实验确认，基础的自重建任务对稳定几何匹配任务的优化至关重要。
• 该方法对扫描协议变化具有鲁棒性，即使在外观差异下，仍能保持相同语义区域的一致表征。