[论文解读] Maximum Likelihood Estimation for Multimodal Learning with Missing Modality

Fei Ma, Xiangxiang Xu+2 more|arXiv (Cornell University)|Aug 24, 2021

Speech and Audio Processing参考文献 50被引用 9

一句话总结

该论文提出了一种基于最大似然估计（MLE）的多模态学习框架，通过建模完整模态和缺失模态样本的条件分布，有效利用了存在缺失模态的数据。该方法引入了一种广义Softmax函数，实现了端到端训练，在95%的训练数据缺失模态的情况下仍能达到最先进性能。

ABSTRACT

Multimodal learning has achieved great successes in many scenarios. Compared with unimodal learning, it can effectively combine the information from different modalities to improve the performance of learning tasks. In reality, the multimodal data may have missing modalities due to various reasons, such as sensor failure and data transmission error. In previous works, the information of the modality-missing data has not been well exploited. To address this problem, we propose an efficient approach based on maximum likelihood estimation to incorporate the knowledge in the modality-missing data. Specifically, we design a likelihood function to characterize the conditional distribution of the modality-complete data and the modality-missing data, which is theoretically optimal. Moreover, we develop a generalized form of the softmax function to effectively implement maximum likelihood estimation in an end-to-end manner. Such training strategy guarantees the computability of our algorithm capably. Finally, we conduct a series of experiments on real-world multimodal datasets. Our results demonstrate the effectiveness of the proposed approach, even when 95% of the training data has missing modality.

研究动机与目标

• 解决因传感器故障或传输错误导致训练数据中存在缺失模态时，多模态学习性能下降的挑战。
• 克服现有方法仅丢弃缺失模态数据或采用非理论基础的启发式融合策略的局限性。
• 开发一种理论基础坚实的、可端到端训练的框架，充分利用模态完整和模态缺失的数据以提升分类性能。
• 通过设计与MLE优化兼容的广义Softmax函数，确保训练过程的计算效率和灵活性。

提出的方法

• 构建似然函数，以建模模态完整和模态缺失数据的条件分布，确保理论最优性。
• 引入广义Softmax函数，实现对完整和缺失模态数据类型下MLE目标的可微分、端到端优化。
• 使用联合对数似然目标联合训练，结合完整模态和缺失模态样本的证据。
• 使用深度神经网络（如ResNet、VGG）提取模态特定特征，框架同时学习表示并处理缺失性。
• 在真实世界数据集（如eNTERFACE’05和RAVDESS）上，将该框架应用于多模态分类任务。
• 通过根据缺失模态类型调整网络架构（如ResNet-50与VGG-16），确保模型鲁棒性。

实验结果

研究问题

• RQ1 能否构建一个理论上最优的似然函数，以同时建模多模态学习中模态完整和模态缺失的数据？
• RQ2 当模态信息部分缺失时，如何实现最大似然估计的端到端可训练化？
• RQ3 在高缺失模态率（如95%）的训练数据上，模型在多大程度上仍能保持高分类准确率？
• RQ4 所提出的方法是否优于现有方法（如丢弃缺失数据或使用启发式填补策略）？
• RQ5 特征提取器的选择（如ResNet-50与VGG-16）在不同模态缺失条件下如何影响性能？

主要发现

• 所提出的基于MLE的方法在分类准确率上显著优于基线方法，尤其在缺失模态数据占比较高的情况下。
• 即使在95%的训练样本缺失模态的情况下，模型仍保持优异性能，展现出对极端缺失情况的强鲁棒性。
• 广义Softmax函数实现了高效的端到端训练，相比多阶段方法，提升了计算效率并加速了模型收敛。
• 与基于自编码器的基线方法（AE1和AE2）相比，该方法表现更优，且随着模态完整数据量的增加，优势更加明显。
• 性能受特征提取器选择的影响：当视觉模态缺失时，ResNet-50表现更优；当音频模态缺失时，ResNet-34表现更佳。
• 理论似然函数为从不完整数据中学习提供了坚实基础，而启发式方法则缺乏此类理论依据。