[论文解读] Learning Semantics-enriched Representation via Self-discovery, Self-classification, and Self-restoration

Fatemeh Haghighi, Mohammad Reza Hosseinzadeh Taher+3 more|arXiv (Cornell University)|Jul 14, 2020

AI in cancer detection参考文献 23被引用 7

一句话总结

本文提出 Semantic Genesis，一种自监督 3D 深度学习框架，通过自发现、自分类和自恢复机制，从无标签医学影像中学习语义增强的表征。该方法在 CT、MRI 和 X-ray 的六个医学影像任务中，优于所有 3D 自监督和全监督预训练模型，包括基于 ImageNet 的迁移学习方法。

ABSTRACT

Medical images are naturally associated with rich semantics about the human anatomy, reflected in an abundance of recurring anatomical patterns, offering unique potential to foster deep semantic representation learning and yield semantically more powerful models for different medical applications. But how exactly such strong yet free semantics embedded in medical images can be harnessed for self-supervised learning remains largely unexplored. To this end, we train deep models to learn semantically enriched visual representation by self-discovery, self-classification, and self-restoration of the anatomy underneath medical images, resulting in a semantics-enriched, general-purpose, pre-trained 3D model, named Semantic Genesis. We examine our Semantic Genesis with all the publicly-available pre-trained models, by either self-supervision or fully supervision, on the six distinct target tasks, covering both classification and segmentation in various medical modalities (i.e.,CT, MRI, and X-ray). Our extensive experiments demonstrate that Semantic Genesis significantly exceeds all of its 3D counterparts as well as the de facto ImageNet-based transfer learning in 2D. This performance is attributed to our novel self-supervised learning framework, encouraging deep models to learn compelling semantic representation from abundant anatomical patterns resulting from consistent anatomies embedded in medical images. Code and pre-trained Semantic Genesis are available at https://github.com/JLiangLab/SemanticGenesis .

研究动机与目标

• 解决无标签医学影像中嵌入的丰富且免费的重复解剖模式所蕴含的潜在语义在自监督表征学习中的未被充分探索的潜力。
• 开发一种自监督框架，明确利用一致的解剖结构作为监督信号，以提升模型的泛化能力和语义理解能力。
• 构建一个通用的、预训练的 3D 模型，使其在多样化的医学影像应用中进行迁移学习时，性能超越自监督和全监督的基线模型。
• 证明与基于 2D 切片的方法相比，使用语义增强特征进行 3D 表征学习可实现更优的性能，即使在使用 ImageNet 预训练的情况下也是如此。
• 验证自分类与自恢复相结合所带来的互补优势，以学习到鲁棒且可迁移的视觉表征。

提出的方法

• 该框架采用带有跳跃连接和分类头的编码器-解码器架构，在无标签 3D 医学影像上进行端到端训练。
• 自发现通过参考患者的深层潜在特征，识别跨患者的一致解剖模式，并在固定坐标处裁剪区域。
• 自分类基于空间坐标为裁剪的解剖模式分配伪标签，使模型能够从重复出现的模式中学习语义结构。
• 自恢复通过从变换后的版本重建原始图像裁剪区域来训练模型，从而增强特征的鲁棒性和不变性。
• 模型通过结合自分类（用于语义）和自恢复（用于外观和结构）的多任务目标进行预训练，计算开销极低。
• 最终模型 Semantic Genesis 在下游任务上进行微调，无需人工标注，从而实现零样本或少样本迁移至分类和分割任务。

实验结果

研究问题

• RQ1 无标签医学影像中的重复解剖模式能否作为自监督表征学习的强而免费的监督信号？
• RQ2 与基于随机裁剪的方法相比，整合解剖结构的自发现与自分类在提升语义表征学习方面有何改进？
• RQ3 通过 Semantic Genesis 进行语义增强预训练，在医学影像中相对于现有自监督和全监督 3D 预训练方法，其性能提升程度如何？
• RQ4 即使使用 ImageNet 预训练模型，基于语义增强特征的 3D 预训练是否仍优于 2D 切片基的迁移学习？
• RQ5 自分类与自恢复在学习多样化视觉表征方面如何协同作用，从而提升最终表征质量与在多样化医学影像任务中的泛化能力？

主要发现

• Semantic Genesis 在六个不同的医学影像任务中，显著优于所有公开的 3D 自监督和全监督预训练模型，包括 MedicalNet、NiftyNet 和 I3D。
• 在 3D 任务（NCC 和 NCS）中，Semantic Genesis 3D 超越了所有 2D 方法，包括最先进的基于 ImageNet 的模型，证明了针对体素数据使用 3D 解决方案的必要性。
• Semantic Genesis 2D 超过了 Models Genesis 2D，并在 PXS 和 NCC 任务中达到与基于 ImageNet 的模型相当的性能，表明在某些场景下自监督学习可与全监督预训练相媲美。
• 自分类与自恢复联合训练相比单独使用任一方法，能带来更稳定且更高的性能，证实了二者在学习多样化视觉表征方面的互补性。
• Semantic Genesis 在存在显著领域差异的任务中（如 LCS 和 BMS）表现出一致的泛化能力，证明其在源数据集与目标数据集差异较大时仍具备鲁棒性和可迁移性。
• 该模型在预训练阶段未使用任何人工标注数据，即实现了最先进性能，证明医学影像中丰富的解剖语义可被有效用于自监督。