[论文解读] A2V: A Semi-Supervised Domain Adaptation Framework for Brain Vessel Segmentation via Two-Phase Training Angiography-to-Venography Translation

Francesco Galati, Daniele Falcetta+5 more|arXiv (Cornell University)|Sep 12, 2023

Fetal and Pediatric Neurological DisordersMedicine被引用 3

一句话总结

本文提出A2V，一种用于脑血管分割的半监督域自适应框架，通过两阶段训练过程实现磁共振血管造影到静脉造影的图像转换，利用解耦潜在空间弥合域间差异。该方法仅使用有限的标注静脉造影图像，即在静脉血管分割任务中取得70.4%的Dice分数，优于最先进方法超过19个百分点。

ABSTRACT

We present a semi-supervised domain adaptation framework for brain vessel segmentation from different image modalities. Existing state-of-the-art methods focus on a single modality, despite the wide range of available cerebrovascular imaging techniques. This can lead to significant distribution shifts that negatively impact the generalization across modalities. By relying on annotated angiographies and a limited number of annotated venographies, our framework accomplishes image-to-image translation and semantic segmentation, leveraging a disentangled and semantically rich latent space to represent heterogeneous data and perform image-level adaptation from source to target domains. Moreover, we reduce the typical complexity of cycle-based architectures and minimize the use of adversarial training, which allows us to build an efficient and intuitive model with stable training. We evaluate our method on magnetic resonance angiographies and venographies. While achieving state-of-the-art performance in the source domain, our method attains a Dice score coefficient in the target domain that is only 8.9% lower, highlighting its promising potential for robust cerebrovascular image segmentation across different modalities.

研究动机与目标

• 解决脑血管分割中磁共振血管造影与静脉造影之间显著的域偏移问题。
• 仅使用有限标注的静脉造影图像和大量标注的血管造影图像，实现脑静脉的半监督分割。
• 在保持训练稳定与高效的同时，降低基于循环的生成对抗网络架构的复杂度。
• 解耦图像的体积相关属性与血管相关特征（如强度与纹理），以实现准确且外观保持的图像转换。
• 尽管存在形态与强度分布差异，仍提升3D脑血管分割中的跨模态泛化能力。

提出的方法

• 一种两阶段训练策略，首先学习域间图像转换，随后联合执行分割与域自适应。
• 采用单一生成器、判别器与编码器架构，相比多组件循环GAN，显著降低模型复杂度。
• 构建解耦的、语义丰富的潜在空间，将体积结构与血管特异性特征（如强度与纹理）分离。
• 通过对抗训练实现图像级域自适应，同时最小化对抗损失的使用以提升训练稳定性。
• 端到端优化，联合学习图像转换与分割，利用源域标注数据与目标域未标注数据的弱监督信号。
• 采用基于StyleGAN2的潜在空间，实现从静脉造影风格到血管造影风格的高保真、内容保持的图像转换。

实验结果

研究问题

• RQ1 半监督域自适应框架能否有效将标注血管造影图像的知识迁移至未标注的静脉造影图像，以实现脑血管分割？
• RQ2 在存在显著域偏移的情况下，解耦潜在空间在跨模态图像转换与分割中是否具有提升性能的作用？
• RQ3 简化后的三组件架构在3D医学图像域自适应任务中，能否超越复杂的循环GAN架构？
• RQ4 降低对抗训练复杂度是否能在不损失性能的前提下提升训练的稳定性与效率？
• RQ5 尽管脑血管在形态与图像外观上存在显著差异，该方法是否仍能泛化至小而复杂的结构？

主要发现

• 所提出的A2V框架在静脉血管分割任务中取得70.4%的平均Dice分数，优于第二名方法（CS-CADA）19.0个百分点。
• 该方法在源域上保持了高性能，脑部结构的Dice分数达到97.5%，表明从源域到目标域具有强大的泛化能力。
• 该框架将循环GAN中多个生成器/判别器的数量减少至仅一个生成器、一个判别器与一个编码器，显著提升了模型效率与可解释性。
• 两阶段训练策略最大限度减少了对抗损失的使用，从而实现更稳定、更快的训练收敛。
• 可视化结果表明，该方法能有效保持空间结构与血管拓扑，生成的静脉造影图像呈现出逼真的动脉样外观。
• 消融实验验证了解耦表征学习在准确图像转换与分割中的关键作用，尤其对小而复杂的血管结构更为重要。