[论文解读] Disentangle, align and fuse for multimodal and zero-shot image segmentation

Agisilaos Chartsias, Giorgos Papanastasiou+5 more|arXiv (Cornell University)|Nov 12, 2019

Advanced MRI Techniques and Applications参考文献 41被引用 9

一句话总结

本文提出了一种新颖的方法，通过解耦多模态MRI序列中的解剖结构与成像因素，利用空间变换网络对齐，并融合共享的解剖结构特征，从而提升分割精度。该方法在存在配准偏差和信号强度差异的情况下，仍能通过跨模态信息实现半监督和零样本学习。

ABSTRACT

Magnetic resonance (MR) protocols rely on several sequences to properly assess pathology and organ status. Yet, despite advances in image analysis we tend to treat each sequence, here termed modality, in isolation. Taking advantage of the information shared between modalities (largely an organ's anatomy) is beneficial for multi-modality multi-input processing and learning. However, we must overcome inherent anatomical misregistrations and disparities in signal intensity across the modalities to claim this benefit. We present a method that offers improved segmentation accuracy of the modality of interest (over a single input model), by learning to leverage information present in other modalities, enabling semi-supervised and zero shot learning. Core to our method is learning a disentangled decomposition into anatomical and imaging factors. Shared anatomical factors from the different inputs are jointly processed and fused to extract more accurate segmentation masks. Image misregistrations are corrected with a Spatial Transformer Network, that non-linearly aligns the anatomical factors. The imaging factor captures signal intensity characteristics across different modality data, and is used for image reconstruction, enabling semi-supervised learning. Temporal and slice pairing between inputs are learned dynamically. We demonstrate applications in Late Gadolinium Enhanced (LGE) and Blood Oxygenation Level Dependent (BOLD) cardiac segmentation, as well as in T2 abdominal segmentation.

研究动机与目标

• 通过利用多组MRI序列间的共享解剖结构信息，提升医学影像分割的准确性。
• 解决不同MRI模态间因解剖结构配准偏差和信号强度差异带来的挑战。
• 通过挖掘跨模态依赖关系，实现零样本和半监督学习。
• 动态学习多模态输入之间的时序和层面级配对关系。
• 在LGE、BOLD以及心脏和腹部T2成像等临床相关任务中提升分割性能。

提出的方法

• 该方法利用深度神经网络架构，将输入的MRI序列解耦为共享的解剖结构因素和模态特异的成像因素。
• 共享的解剖结构因素被联合处理并融合，以生成更精确的分割掩码。
• 应用空间变换网络对不同模态间的解剖结构因素进行非线性对齐，以纠正空间配准偏差。
• 利用成像因素进行图像重建，通过重建未标注数据实现半监督学习。
• 在训练过程中动态学习输入之间的时序和层面级配对关系，以改善模态对齐。
• 通过共享的解剖结构表征，将已见模态的知识迁移至未见模态，实现零样本分割。

实验结果

研究问题

• RQ1 解耦解剖结构与成像因素是否能提升多模态MRI的分割精度？
• RQ2 可学习的对齐机制在多大程度上能有效校正MRI序列间的空间错配？
• RQ3 共享的解剖结构表征在多大程度上能实现跨MRI模态的零样本分割？
• RQ4 从成像因素重建图像是否能提升低数据量场景下的半监督学习性能？
• RQ5 时序和层面级输入的动态配对对分割性能有何影响？

主要发现

• 通过利用多模态信息，该方法在分割精度上优于单模态基线模型。
• 使用空间变换网络显著降低了解剖结构配准偏差对分割性能的影响。
• 解耦的表征实现了有效的零样本分割，能够泛化至未见过的MRI序列。
• 通过成像因素的图像重建，半监督学习性能得到增强，尤其在标注数据有限的情况下表现更优。
• 时序和层面级配对的动态学习带来了更优的对齐效果和更鲁棒的特征融合。
• 该方法在具有挑战性的临床任务中表现出色，包括LGE、BOLD以及T2腹部分割。