[论文解读] Multi-modal Learning with Missing Modality via Shared-Specific Feature Modelling

Hu Wang, Yuanhong Chen+4 more|arXiv (Cornell University)|Jul 26, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出共享-特定特征建模（ShaSpec），一种在模态缺失情况下进行多模态学习的简单而有效的方法。该方法通过分布对齐和域分类损失，联合学习共享特征与特定特征，即使在训练或推理时模态缺失，也能在分类和分割任务中实现鲁棒性能。ShaSpec达到最先进水平，在BraTS2018数据集上，增强肿瘤的分割Dice分数提升超过3%，肿瘤核心提升5%，整体肿瘤提升3%。

ABSTRACT

The missing modality issue is critical but non-trivial to be solved by multi-modal models. Current methods aiming to handle the missing modality problem in multi-modal tasks, either deal with missing modalities only during evaluation or train separate models to handle specific missing modality settings. In addition, these models are designed for specific tasks, so for example, classification models are not easily adapted to segmentation tasks and vice versa. In this paper, we propose the Shared-Specific Feature Modelling (ShaSpec) method that is considerably simpler and more effective than competing approaches that address the issues above. ShaSpec is designed to take advantage of all available input modalities during training and evaluation by learning shared and specific features to better represent the input data. This is achieved from a strategy that relies on auxiliary tasks based on distribution alignment and domain classification, in addition to a residual feature fusion procedure. Also, the design simplicity of ShaSpec enables its easy adaptation to multiple tasks, such as classification and segmentation. Experiments are conducted on both medical image segmentation and computer vision classification, with results indicating that ShaSpec outperforms competing methods by a large margin. For instance, on BraTS2018, ShaSpec improves the SOTA by more than 3% for enhancing tumour, 5% for tumour core and 3% for whole tumour. The code repository address is https://github.com/billhhh/ShaSpec/.

研究动机与目标

• 解决多模态学习中模态缺失的挑战，该问题限制了现有模型在真实场景中的适用性。
• 克服先前方法在训练期间需要完整模态可用，或仅适用于特定任务（如仅分类或仅分割）的局限性。
• 开发一种统一、简洁的架构，可在分类和分割任务间通用，同时在训练和推理阶段均能处理模态缺失。
• 实现非专用训练，即单一模型可处理多种模态缺失组合，减少对每种缺失场景单独建模的需求。

提出的方法

• ShaSpec采用双分支编码器结构：一个共享编码器用于学习所有模态的通用特征，以及多个独立的特定编码器用于学习模态特异性表征。
• 通过可学习的线性投影层结合残差学习机制，融合共享特征与特定特征。
• 辅助任务包括分布对齐（通过MMD损失实现）和域分类，以促进解耦且语义有意义的特征学习。
• 整体损失函数结合主任务损失（如交叉熵或MSE）与加权的辅助损失，权重由超参数α和β控制，以平衡梯度。
• 该方法端到端训练，可仅通过极少架构修改应用于分类和分割任务。
• 推理阶段，模型通过依赖可用的共享和特定特征动态处理缺失模态，无需微调。

实验结果

研究问题

• RQ1 统一的多模态学习框架是否能在训练和推理阶段均有效处理模态缺失，而无需为每种缺失场景专门训练模型？
• RQ2 在模态不完整的情况下，学习解耦的共享与特定特征是否能提升下游任务的性能？
• RQ3 基于辅助任务（分布对齐与域分类）的简单架构是否能在分割与分类等多样化任务中实现最先进性能？
• RQ4 控制辅助损失权重的超参数α与β如何影响模型性能与训练稳定性？

主要发现

• 在BraTS2018数据集上，当所有模态完整时，ShaSpec将最先进水平提升3.0%（增强肿瘤）、5.0%（肿瘤核心）和3.0%（整体肿瘤）的分割Dice分数。
• 当推理阶段仅提供T1 MRI时，ShaSpec在整体肿瘤上的Dice分数达到74.82%，比基线模型高出1.5%。
• 在OpenI数据集的二分类胸部X光片分类任务中，ShaSpec的AUC达到0.89，优于完整模态基线（AUC 0.90），并显著超越在30%图像模态缺失条件下训练的模型。
• 消融实验表明，α = 0.1 且 β = 0.02 时性能最优，表明较小的辅助损失权重可避免干扰主任务。
• t-SNE可视化结果表明，共享特征在不同模态间聚类良好，而特定特征实现了解耦，验证了特征解耦目标的有效性。
• ShaSpec仅使用0.22M参数，GPU显存占用稳定在1421MiB，相比SMIL在效率与内存稳定性方面表现更优，后者常因显存溢出（OOM）而崩溃。