[논문 리뷰] Addressing Missing and Noisy Modalities in One Solution: Unified Modality-Quality Framework for Low-quality Multimodal Data

Sijie Mai, Shiqin Han외 1명|arXiv (Cornell University)|2026. 03. 03.

Emotion and Mood Recognition인용 수 0

한 줄 요약

UMQ는 다중모달 데이터의 누락 및 노이즈 모달리티를 품질 추정기, 품질 향상기, 모달리티-품질 인식 혼합 전문가를 도입하여 해결하고, 여러 MAC 데이터셋에서 최첨단 성능을 달성합니다.

ABSTRACT

Multimodal data encountered in real-world scenarios are typically of low quality, with noisy modalities and missing modalities being typical forms that severely hinder model performance and robustness. However, prior works often handle noisy and missing modalities separately. In contrast, we jointly address missing and noisy modalities to enhance model robustness in low-quality data scenarios. We regard both noisy and missing modalities as a unified low-quality modality problem, and propose a unified modality-quality (UMQ) framework to enhance low-quality representations for multimodal affective computing. Firstly, we train a quality estimator with explicit supervised signals via a rank-guided training strategy that compares the relative quality of different representations by adding a ranking constraint, avoiding training noise caused by inaccurate absolute quality labels. Then, a quality enhancer for each modality is constructed, which uses the sample-specific information provided by other modalities and the modality-specific information provided by the defined modality baseline representation to enhance the quality of unimodal representations. Finally, we propose a quality-aware mixture-of-experts module with particular routing mechanism to enable multiple modality-quality problems to be addressed more specifically. UMQ consistently outperforms state-of-the-art baselines on multiple datasets under the settings of complete, missing, and noisy modalities.

연구 동기 및 목표

• 현실적인 저품질 데이터에서 누락 및 노이즈 모달리티를 모두 포함한 강건한 다중모달 학습을 동기화한다.
• 누락 및 노이즈 모달리티를 저품질 모달리티 문제로 함께 처리하는 unified 프레임워크를 제안한다.
• 랭크 가이드 학습(rank-guided training)을 통해 모달리티 품질 추정에 대한 명시적 감독을 개발한다.
• 샘플-특정 정보와 모달리티-특정 정보를 활용하여 unimodal 표현을 개선하는 품질 향상기를 설계한다.
• 다양한 모달리티 품질 구성에 대해 특화된 라우팅을 갖춘 모달리티-품질 인식 혼합 전문가를 도입한다.

제안 방법

• 누락 및 노이즈 모달리티를 단일 저품질 모달리티 문제로 간주하는 unified modality-quality (UMQ) 프레임워크를 정의한다.
• 절대 품질 라벨에 의존하지 않고 상대적 품질을 학습하기 위해 랭크 가이드 학습 전략으로 보강된 감독 신호를 사용하여 각 모달리티의 품질 추정기를 학습한다.
• 샘플-특정 정보와 모달리티-특정 기저 표현을 사용하여 unimodal 특징을 풍부하게 하는 품질 향상기를 개발한다.
• 향상된 unimodal 표현을 모달리티 기반 표현으로 구성하고 이를 융합 네트워크를 통해 다중 모달 표현으로 융합한다.
• 2^{|M|} 모달리티 품질 구성에 대해 효율적으로 처리하기 위해 라우팅 제약과 전문가 간의 균형 및 유사성 제약을 갖춘 모달리티-품질 인식 혼합 전문가(MQ-MoE)를 구현한다.

실험 결과

연구 질문

• RQ1 저하된 품질의 다중모달 데이터에서 누락 및 노이즈 모달리티를 어떻게 함께 모델링하여 강건성을 향상시킬 수 있는가?
• RQ2 랭크-가이드 감독으로 학습된 품질 추정기가 향상 및 라우팅에 신뢰할 수 있는 모달리티 품질 신호를 제공하는가?
• RQ3 모달리티-특정 기저와 샘플-특정 정보를 모두 활용하면 저하 상황에서 unimodal 표현의 충실도가 개선되는가?
• RQ4 품질 인식 혼합 전문가가 다양한 모달리티 품질 구성에 대해 효과적으로 특화된 처리를 제공할 수 있는가?
• RQ5 표준 MAC 데이터셋에서 완전, 누락, 노이즈 모달리티 설정 간 어떤 성능 향상을 달성할 수 있는가?

주요 결과

• UMQ는 완전, 누락 및 노이즈 모달리티 설정에서 다중 모달 정서 인식 데이터셋에 대해 최첨단 baselines보다 우수한 성능을 보인다.
• 랭크-가이드 감독으로 학습된 품질 추정기는 절대 품질 라벨에 의존하지 않고도 모달리티 품질을 효과적으로 식별한다.
• 샘플-특정 및 모달리티-특정 정보를 모두 활용하는 품질 향상기는 모달리티 고유한 특성을 유지하면서 더 높은 품질의 unimodal 표현을 만들어낸다.
• 품질 인식 라우팅과 제약된 전문가 사용을 갖춘 MQ-MoE는 각 모달리티 품질 구성에 대해 특화된 처리를 제공하여 견고성과 정확성을 향상시킨다.
• 특성 제거 실험은 품질 추정기 또는 랭크 가이드 학습의 제거가 성능을 크게 저하시키는 것으로 나타나 이들의 핵심 역할을 강조한다.