[论文解读] ModDrop++: A Dynamic Filter Network with Intra-subject Co-training for Multiple Sclerosis Lesion Segmentation with Missing Modalities

Han Liu, Yubo Fan+7 more|arXiv (Cornell University)|Mar 7, 2022

Microbial infections and disease research被引用 4

一句话总结

ModDrop++ 提出了一种具有跨模态联合训练的动态滤波网络，以在磁共振成像（MRI）模态缺失的情况下提升多发性硬化症（MS）病灶分割性能。通过引入即插即用的动态头以实现自适应特征学习，并在来自同一受试者的完整模态与缺失模态数据之间进行联合训练，该方法在不改变网络架构的前提下，在所有模态缺失条件下均实现了最先进性能。

ABSTRACT

Multiple Sclerosis (MS) is a chronic neuroinflammatory disease and multi-modality MRIs are routinely used to monitor MS lesions. Many automatic MS lesion segmentation models have been developed and have reached human-level performance. However, most established methods assume the MRI modalities used during training are also available during testing, which is not guaranteed in clinical practice. Previously, a training strategy termed Modality Dropout (ModDrop) has been applied to MS lesion segmentation to achieve the state-of-the-art performance with missing modality. In this paper, we present a novel method dubbed ModDrop++ to train a unified network adaptive to an arbitrary number of input MRI sequences. ModDrop++ upgrades the main idea of ModDrop in two key ways. First, we devise a plug-and-play dynamic head and adopt a filter scaling strategy to improve the expressiveness of the network. Second, we design a co-training strategy to leverage the intra-subject relation between full modality and missing modality. Specifically, the intra-subject co-training strategy aims to guide the dynamic head to generate similar feature representations between the full- and missing-modality data from the same subject. We use two public MS datasets to show the superiority of ModDrop++. Source code and trained models are available at https://github.com/han-liu/ModDropPlusPlus.

研究动机与目标

• 解决多发性硬化症病灶分割中 MRI 模态不一致可用性的临床挑战。
• 克服 Modality Dropout（ModDrop）方法的局限性，如网络表达能力有限以及缺乏受试者内知识迁移。
• 开发一种即插即用的方法，在不修改现有网络架构的前提下，提升对任意模态缺失组合的泛化能力。
• 缩小统一模型与模态特异性模型之间的性能差距，以实现更稳健的临床部署。
• 利用受试者间关系，增强来自同一患者的不同模态输入（完整与缺失）之间的特征表示一致性。

提出的方法

• 引入一种即插即用的动态头，根据缺失模态模式生成滤波器缩放矩阵，以实现自适应特征学习。
• 应用滤波器缩放策略，根据输入模态的可用性动态调整第一卷积层的参数。
• 设计一种受试者内联合训练策略，以对齐来自同一受试者的完整模态与缺失模态输入之间的特征表示。
• 使用对比损失训练动态头，以在模态缺失的情况下仍鼓励同一受试者不同输入的特征图保持相似性。
• 将动态头与联合训练策略整合到统一网络中，并在 ModDrop 框架下进行训练，保持模型架构的灵活性。
• 使用两个公开的 MS 数据集（ISBI 2015 和 MSSEG）验证在多种模态缺失场景下的性能。

实验结果

研究问题

• RQ1 动态滤波机制是否能提升在模态缺失条件下 MS 病灶分割任务中的模型表达能力？
• RQ2 在完整模态与缺失模态数据之间进行受试者内联合训练，是否能增强特征表示的一致性并提高分割精度？
• RQ3 ModDrop++ 是否能在保持单一统一架构的同时，实现与模态特异性模型相当的性能？
• RQ4 动态滤波与联合训练的结合是否在多种模态缺失配置下优于标准 ModDrop 方法？
• RQ5 该方法在模态可用性与受试者数量各不相同的多个数据集上，其泛化能力如何？

主要发现

• 当所有模态均可用时，ModDrop++ 在 ISBI 2015 数据集上取得了最高的 Dice 相似性系数（DSC）0.793，优于基线 ModDrop 和模态特异性模型。
• 仅提供 T1w 模态时，ModDrop++ 的 DSC 达到 0.710，显著优于 ModDrop（0.684），并有效减少了假阳性和假阴性。
• 当 FLAIR 模态缺失时，ModDrop++ 仍保持 DSC 0.772，表明其对这一关键模态缺失具有强鲁棒性。
• 动态头与受试者内联合训练（ModDrop++）的结合显著缩小了统一模型与模态特异性模型之间的性能差距，尤其在模态数量较少的情况下。
• 在 MSSEG 数据集上，当所有模态均存在时，ModDrop++ 的 DSC 达到 0.776，且在仅提供 T1w 时仍保持优异性能（DSC 0.748），展现出一致的泛化能力。
• 定性结果表明，与 ModDrop 相比，ModDrop++ 在单模态场景下显著减少了假阳性和假阴性。