[论文解读] Addressing Missing and Noisy Modalities in One Solution: Unified Modality-Quality Framework for Low-quality Multimodal Data

Sijie Mai, Shiqin Han+1 more|arXiv (Cornell University)|Mar 3, 2026

Emotion and Mood Recognition被引用 0

一句话总结

UMQ 通过引入质量估计器、质量增强器以及模态质量感知的混合专家，联合处理缺失和噪声模态，在多模态数据的若干 MAC 数据集上达到最先进的结果。

ABSTRACT

Multimodal data encountered in real-world scenarios are typically of low quality, with noisy modalities and missing modalities being typical forms that severely hinder model performance and robustness. However, prior works often handle noisy and missing modalities separately. In contrast, we jointly address missing and noisy modalities to enhance model robustness in low-quality data scenarios. We regard both noisy and missing modalities as a unified low-quality modality problem, and propose a unified modality-quality (UMQ) framework to enhance low-quality representations for multimodal affective computing. Firstly, we train a quality estimator with explicit supervised signals via a rank-guided training strategy that compares the relative quality of different representations by adding a ranking constraint, avoiding training noise caused by inaccurate absolute quality labels. Then, a quality enhancer for each modality is constructed, which uses the sample-specific information provided by other modalities and the modality-specific information provided by the defined modality baseline representation to enhance the quality of unimodal representations. Finally, we propose a quality-aware mixture-of-experts module with particular routing mechanism to enable multiple modality-quality problems to be addressed more specifically. UMQ consistently outperforms state-of-the-art baselines on multiple datasets under the settings of complete, missing, and noisy modalities.

研究动机与目标

• 在现实的低质量数据中，推动鲁棒的多模态学习，处理同时存在的缺失与噪声模态。
• 提出一个统一框架，将缺失和噪声模态作为一个低质量模态问题联合处理。
• 通过排名引导训练，为模态质量估计提供显式监督。
• 设计一个质量增强器，利用样本特定信息与模态特定信息来提升单模态表示。
• 引入一个模态质量感知的专家混合模型，针对不同模态质量配置实现专门化路由。

提出的方法

• 定义一个统一的模态质量（UMQ）框架，将缺失和噪声模态作为单一低质量模态问题来处理。
• 使用带有排名引导训练策略的监督信号，对每个模态训练质量估计器，以在不依赖绝对质量标签的情况下学习相对质量。
• 开发一个质量增强器，利用来自其他模态的样本特定信息和模态特定基线表示来丰富单模态特征。
• 构建一个模态基线表示，并通过融合网络将增强后的单模态表示融合为多模态表示。
• 实现一个具备路由约束的模态质量感知的专家混合模型（MQ-MoE），以高效处理 2^{|M|} 种模态质量配置，并在专家之间实现平衡与相似性约束。

实验结果

研究问题

• RQ1 如何将缺失与噪声模态联合建模，以在低质量多模态数据上提升鲁棒性？
• RQ2 是否可以利用带有排名引导监督的质量估计器提供可靠的模态质量信号用于增强和路由？
• RQ3 在劣化条件下，利用模态特定基线与样本特定信息是否能提升单模态表示的保真度？
• RQ4 一个具备质量感知的专家混合模型能否有效实现对多样模态质量配置的专门化处理？
• RQ5 在完整、缺失和噪声模态设置下，在标准 MAC 数据集上能实现哪些性能提升？

主要发现

• UMQ 在多个情感计算多模态数据集上的完整、缺失和噪声模态设置下，超越最先进基线。
• 通过带有排名引导监督训练的质量估计器能够在不依赖绝对质量标签的情况下有效识别模态质量。
• 利用样本特定信息与模态特定信息的质量增强器，能够产生更高质量的单模态表示，并保留模态特征。
• 具备质量感知路由与受约束的专家使用的 MQ-MoE，为每种模态质量配置提供专门化处理，提升鲁棒性与准确性。
• 消融研究表明，移除质量估计器或排名引导训练会显著降低性能，凸显它们的关键作用。