[论文解读] Diffusion Adversarial Representation Learning for Self-supervised Vessel Segmentation

Boah Kim, Yujin Oh+1 more|arXiv (Cornell University)|Sep 29, 2022

Retinal Imaging and Analysis被引用 30

一句话总结

DARL 将扩散模块与对抗生成器相结合，在没有 ground-truth 标签的自监督条件下学习血管表征并产生分割掩膜，在多个数据集上达到最先进的结果。

ABSTRACT

Vessel segmentation in medical images is one of the important tasks in the diagnosis of vascular diseases and therapy planning. Although learning-based segmentation approaches have been extensively studied, a large amount of ground-truth labels are required in supervised methods and confusing background structures make neural networks hard to segment vessels in an unsupervised manner. To address this, here we introduce a novel diffusion adversarial representation learning (DARL) model that leverages a denoising diffusion probabilistic model with adversarial learning, and apply it to vessel segmentation. In particular, for self-supervised vessel segmentation, DARL learns the background signal using a diffusion module, which lets a generation module effectively provide vessel representations. Also, by adversarial learning based on the proposed switchable spatially-adaptive denormalization, our model estimates synthetic fake vessel images as well as vessel segmentation masks, which further makes the model capture vessel-relevant semantic information. Once the proposed model is trained, the model generates segmentation masks in a single step and can be applied to general vascular structure segmentation of coronary angiography and retinal images. Experimental results on various datasets show that our method significantly outperforms existing unsupervised and self-supervised vessel segmentation methods.

研究动机与目标

• 在标注数据有限或缺失的情况下推动医学影像中的血管分割。
• 引入扩散-对抗表示学习框架（DARL）以学习血管语义。
• 通过可切换的 SPADE 层实现同时生成合成血管造影图与血管分割掩膜。
• 证明对噪声的鲁棒性以及在视网膜与X光血管造影数据集上的泛化能力。

提出的方法

• 整合一个扩散模块，该模块从带噪声输入中估计潜在背景信号。
• 使用具备可切换的 SPADE 层的生成模块来输出血管掩膜和合成血管造影图。
• 采用两个鉴别器来区分真实与伪造的分割掩膜和血管造影图。
• 端到端训练，结合扩散损失、对抗损失和循环一致性损失。
• 推理阶段使用扩散模块的潜在特征执行单步分割（非迭代）。

实验结果

研究问题

• RQ1 一个非迭代的基于扩散的模型是否能够在无标签的情况下学习与血管相关的分割表示？
• RQ2 带可切换的 SPADE 层的对抗生成是否能够在分割和合成血管造影图质量之间实现联合提升？
• RQ3 方法在跨数据集与模态（造影与视网膜图像）上的泛化能力如何？
• RQ4 该方法对噪声和医学血管常见的成像条件变化是否具有鲁棒性？
• RQ5 各组成部分（扩散模块、S-SPADE、循环损失）对总体性能的贡献分别是什么？

主要发现

• DARL 在X-ray冠状动脉造影和视网膜数据集上优于无监督和自监督基线。
• 在外部 XCA 测试和跨模态视网膜数据集上，该方法实现了更高的 Dice、IoU 与精准度分数。
• 消融研究表明扩散模块、S-SPADE 与循环损失均对性能提升有贡献。
• DARL 对高斯噪声展现出鲁棒性，并在不同噪声水平下维持合理的分割。
• 来自扩散路径的潜在特征更强调血管结构，支持在无标签条件下实现有效分割。