[논문 리뷰] Towards Robust Multimodal Sentiment Analysis with Incomplete Data

Haoyu Zhang, Wenbin Wang외 1명|arXiv (Cornell University)|2024. 09. 30.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 불완전한 데이터 조건에서 강건한 다중모odal 감성 분석을 위한 언어 지배적 노이즈 내성 학습 네트워크(LNLN)를 제안한다. 주로 언어 모odal리티 표현의 질을 향상시키기 위해 주도 모달리티 보정(DMC) 모듈과 주도 모달리티 기반 다중모달 학습(DMML) 모듈을 도입함으로써, LNLN은 MOSI, MOSEI, SIMS 데이터셋에서 다양한 무작위 누락 시나리오 하에서 기존 베이스라인들을 일관되게 능가하는 뛰어난 성능을 달성한다.

ABSTRACT

The field of Multimodal Sentiment Analysis (MSA) has recently witnessed an emerging direction seeking to tackle the issue of data incompleteness. Recognizing that the language modality typically contains dense sentiment information, we consider it as the dominant modality and present an innovative Language-dominated Noise-resistant Learning Network (LNLN) to achieve robust MSA. The proposed LNLN features a dominant modality correction (DMC) module and dominant modality based multimodal learning (DMML) module, which enhances the model's robustness across various noise scenarios by ensuring the quality of dominant modality representations. Aside from the methodical design, we perform comprehensive experiments under random data missing scenarios, utilizing diverse and meaningful settings on several popular datasets ( extit{e.g.,} MOSI, MOSEI, and SIMS), providing additional uniformity, transparency, and fairness compared to existing evaluations in the literature. Empirically, LNLN consistently outperforms existing baselines, demonstrating superior performance across these challenging and extensive evaluation metrics.

연구 동기 및 목표

• 실제 환경에서 모달리티가 누락되는 경우가 많은 다중모달 감성 분석(MSA)에서의 데이터 불완전성 문제를 해결하기 위해.
• 다양한 노이즈 수준에서도 주도 언어 모달리티의 무결성을 유지함으로써 모델의 강건성을 향상시키기 위해.
• 다양한 벤치마크 데이터셋에서 무작위 데이터 누락 설정 하에서 기존 MSA 방법들의 포괄적이고 공정하며 투명한 평가를 제공하기 위해.
• 주도 모달리티의 표현 품질을 향상시키면서 보조 모달리티를 활용해 강건한 융합을 달성하는 새로운 아키텍처인 LNLN을 도입하기 위해.
• 공정한 비교와 분야 내 지식 확산을 가능하게 하기 위해 일관된 메트릭과 설정을 갖춘 표준화된 평가 프로토콜을 수립하기 위해.

제안 방법

• LNLN 프레임워크는 주도 모달리티 보정(DMC) 모듈을 활용해 언어 모달리티 특징을 재구성하고 정제함으로써, 다른 모달리티가 누락된 경우에도 고품질의 표현을 확보한다.
• 주도 모달리티 기반 다중모달 학습(DMML) 모듈은 어텐션 메커니즘을 사용해 향상된 언어 특징과 보조 모달리티(음성, 영상)를 융합하여 감성 분류 성능을 향상시킨다.
• 누락된 모달리티 특징을 복원하기 위해 별도의 재구성 모듈을 사용하여 주도 언어 모달리티에 대한 노이즈 간섭을 줄인다.
• 분류 작업을 위한 교차 엔트로피와 누락 데이터 복구를 위한 재구성 손실을 조합한 공동 손실 함수를 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 세 가지 벤치마크 데이터셋인 MOSI, MOSEI, SIMS에서 일관된 데이터 분할 및 평가 프로토콜을 적용해 제어된 무작위 누락 시나리오 하에서 프레임워크를 평가한다.
• 언어 콘텐츠의 본질적 풍부성을 주도 신호로 활용함으로써, 불완전하거나 노이즈가 많은 입력에 더 강건한 모델이 되도록 한다.

실험 결과

연구 질문

• RQ1 다중모달 감성 분석에서 데이터 불완전성 상황에서 주도 언어 모달리티의 무결성이 모델의 강건성에 어떤 영향을 미치는가?
• RQ2 무작위로 모달리티가 누락되는 상황에서 언어 지배적 아키텍처가 기존 다중모달 모델보다 성능을 뛰어나게 할 수 있는가?
• RQ3 일관된 평가 프로토콜이 MSA 모델 성능의 비교 가능성과 신뢰성에 어떤 영향을 미치는가?
• RQ4 제안된 DMC 및 DMML 모듈이 노이즈 상황에서도 고품질 언어 표현을 유지하고 활용하는 데 얼마나 효과적인가?
• RQ5 재구성 모듈이 주도 모달리티에 대한 노이즈 간섭을 어느 정도 줄이는 데 기여하는가?

주요 결과

• LNLN은 다양한 무작위 누락 데이터 시나리오 하에서 MOSI, MOSEI, SIMS 세 벤치마크 데이터셋 전반에서 최신 기준(SOTA) 성능을 달성한다.
• 분류 정확도 등 다양한 평가 지표에서 TFR-Net, NIAT, UMDF 등 기존 베이스라인을 일관되게 능가하며, 뛰어난 강건성을 입증한다.
• 제거 실험 결과 DMC 및 DMML 모듈이 언어 모달리티가 부분적 또는 완전히 누락된 경우에도 성능 향상에 크게 기여하는 것으로 확인되었다.
• 재구성 모듈은 주도 모달리티에 대한 노이즈 영향을 효과적으로 줄여 더 안정적이고 정확한 예측을 가능하게 한다.
• 포괄적인 평가 결과 이전 연구들의 메트릭과 설정에 일관성 없음을 드러내며, MSA 연구 분야에서 표준화된 벤치마크가 필요하다는 점을 강조한다.
• 저자들은 GitHub에 코드를 공개하여 재현 가능성과 불완전한 데이터를 고려한 강건한 MSA 연구의 향후 발전을 지원한다.