[论文解读] MMANet: Margin-aware Distillation and Modality-aware Regularization for Incomplete Multimodal Learning

Shicai Wei, Yang Luo+1 more|arXiv (Cornell University)|Apr 17, 2023

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

MMANet 提出了一种统一框架，用于不完整多模态学习，采用边缘感知蒸馏（MAD）和模态感知正则化（MAR）。通过利用教师网络迁移全面的多模态知识，并利用正则化网络聚焦于弱模态组合，MMANet 提升了泛化能力和鲁棒性，在多模态分类和分割基准上实现了最先进性能，且在各种缺失模态场景下均保持一致的性能提升。

ABSTRACT

Multimodal learning has shown great potentials in numerous scenes and attracts increasing interest recently. However, it often encounters the problem of missing modality data and thus suffers severe performance degradation in practice. To this end, we propose a general framework called MMANet to assist incomplete multimodal learning. It consists of three components: the deployment network used for inference, the teacher network transferring comprehensive multimodal information to the deployment network, and the regularization network guiding the deployment network to balance weak modality combinations. Specifically, we propose a novel margin-aware distillation (MAD) to assist the information transfer by weighing the sample contribution with the classification uncertainty. This encourages the deployment network to focus on the samples near decision boundaries and acquire the refined inter-class margin. Besides, we design a modality-aware regularization (MAR) algorithm to mine the weak modality combinations and guide the regularization network to calculate prediction loss for them. This forces the deployment network to improve its representation ability for the weak modality combinations adaptively. Finally, extensive experiments on multimodal classification and segmentation tasks demonstrate that our MMANet outperforms the state-of-the-art significantly. Code is available at: https://github.com/shicaiwei123/MMANet

研究动机与目标

• 解决推理过程中因缺失模态数据导致的多模态学习性能下降问题。
• 开发一种统一模型，同时捕捉模态不变特征和模态特定特征，同时在输入不完整时保持鲁棒性。
• 提升对现有统一方法中常被欠优化的弱模态组合的泛化能力。
• 设计一种训练框架，自适应地优先处理决策边界附近的困难样本以及代表性不足的模态组合。

提出的方法

• 提出一个三部分框架：部署网络、在完整多模态数据上预训练的教师网络，以及正则化网络。
• 提出边缘感知蒸馏（MAD），根据分类不确定性重新加权样本损失，以强调靠近决策边界的困难样本。
• 采用模态感知正则化（MAR），识别并优先处理弱模态组合，以增强表示学习。
• 利用教师网络通过知识蒸馏将优化后的类间边缘传递给部署网络。
• 应用正则化网络生成辅助预测并计算弱模态组合的损失，从而提升其判别能力。
• 结合 MAD 和 MAR，联合优化部署网络，使其在所有模态组合下均具备鲁棒性和判别能力。

实验结果

研究问题

• RQ1 统一模型能否有效学习模态不变和模态特定信息，同时对不完整模态输入保持鲁棒？
• RQ2 如何对弱模态组合进行优化，这些组合常因代表性不足而难以学习？
• RQ3 分类不确定性能否用于引导知识蒸馏，以改善类间边缘学习？
• RQ4 模态感知正则化是否优于标准正则化，在提升弱模态组合性能方面表现更优？

主要发现

• 在 CASIA-SURF 数据集上，MMANet 相较于基线 SF-MD 平均性能提升 2.93%，其中 MAD 贡献了 1.33% 的提升。
• 所提出的 MAD 方法相比标准知识蒸馏（SP）将平均错误率降低了 1.33%，主要通过聚焦于决策边界附近的困难样本实现。
• MAR 在弱模态组合上的平均性能提升 0.63%，其中在 RGB 上提升 1.79%，在 IR 上提升 1.63%，在 RGB+IR 组合上提升 1.02%。
• 该框架在所有模态组合上（包括单模态和多模态设置）均优于定制化模型和现有统一模型。
• MAR 平均比标准正则化（SR）高出 0.39%，证明其在识别和改善弱组合方面的有效性。
• 大量消融实验表明，MAD 和 MAR 在多个数据集和模态组合上均有效，且在分类和分割任务中均保持一致的性能提升。