[논문 리뷰] Temporal-Spatial Decouple before Act: Disentangled Representation Learning for Multimodal Sentiment Analysis

Chunlei Meng, Ziyang Zhou외 4명|arXiv (Cornell University)|2026. 01. 20.

Emotion and Mood Recognition인용 수 0

한 줄 요약

TSDA는 교차 모달 상호작용 전에 각 모달리티의 시간적 역학과 공간 구조를 분리하고 요인을 하나씩 정렬하며, 이를 적응적으로 재결합하여 벤치마크 멀티모달 감정 분석 데이터셋에서 최첨단 성능을 달성합니다.

ABSTRACT

Multimodal Sentiment Analysis integrates Linguistic, Visual, and Acoustic. Mainstream approaches based on modality-invariant and modality-specific factorization or on complex fusion still rely on spatiotemporal mixed modeling. This ignores spatiotemporal heterogeneity, leading to spatiotemporal information asymmetry and thus limited performance. Hence, we propose TSDA, Temporal-Spatial Decouple before Act, which explicitly decouples each modality into temporal dynamics and spatial structural context before any interaction. For every modality, a temporal encoder and a spatial encoder project signals into separate temporal and spatial body. Factor-Consistent Cross-Modal Alignment then aligns temporal features only with their temporal counterparts across modalities, and spatial features only with their spatial counterparts. Factor specific supervision and decorrelation regularization reduce cross factor leakage while preserving complementarity. A Gated Recouple module subsequently recouples the aligned streams for task. Extensive experiments show that TSDA outperforms baselines. Ablation analysis studies confirm the necessity and interpretability of the design.

연구 동기 및 목표

• 시공간 이질성이 MSA 모델에서 정보 비대칭성과 취약한 예측을 야기한다는 점을 동기로 삼는다.
• 교차 모달 상호작용 전에 두 가지 분리 경로(시간적 및 공간적) 모달리티 분리를 제안한다.
• Factor-Consistent Cross-Modal Alignment를 개발하여 모달리티 간 같은 요인을 정렬한다.
• 인스턴스별로 의거한 게이트 재결합 모듈을 도입하여 시간적·공간적 요약을 상황에 맞게 융합한다.
• 요인 간 누출을 방지하면서 보완성을 유지하기 위한 정규화를 적용한다.

제안 방법

• 각 모달리티마다 입력을 시간적 토큰 시퀀스를 생성하는 시간 인코더와 시간에 불변인 구조적 집합을 산출하는 공간 인코더로 분할한다.
• 블록 대각 마스킹 어텐션을 포함한 요인 일관 교차 모달 정합을 적용하여 모달리티 간 시간적 토큰을 정렬하고 모달리티 간 공간 토큰을 정렬한다.
• 토큰 수준의 요인 순도(판별자 기반)와 요약 수준의 상관분리(코사인 유사도 및 HSIC)를 강요하여 교차 요인 누출을 억제한다.
• 의견 차이와 요인 신뢰도에 의존하는 게이트 메커니즘으로 정렬된 시간적/공간적 요약을 재결합하고 직교성 규제항을 추가한다.
• 요인 분리와 안정적 융합을 강제하기 위해 작업 손실과 함께 순도, 상관분리, 직교성 손실을 사용하여 학습한다.

실험 결과

연구 질문

• RQ1 시공간 이질성을 명시적으로 분리한 후 상호작용이 멀티모달 감정 분석에서 시공간 정보 비대칭을 줄일 수 있는가?
• RQ2 요인 일관 정렬이 교차 모달 융합을 개선하여 교차 요인 간 간섭과 정적 지배를 방지하는가?
• RQ3 인스턴스별 게이트 재결합이 정렬된 조건과 비정렬된 조건 모두에서 시간적·공간적 신호를 적응적으로 융합하여 강인성을 높일 수 있는가?
• RQ4 순도, 상관분리 및 직교성 정규화가 모델 성능과 안정성에 어떤 영향을 미치는가?

주요 결과

• TSDA는 정렬된 상태와 비정렬된 상태 모두에서 CMU-MOSI 및 CMU-MOSEI에서 최상의 성능을 달성한다.
• MOSI에서 TSDA는 MAE를 정렬 시 0.695, 비정렬 시 0.680으로 감소시키고 ACC7/ACC2/F1를 약 1%포인트 향상시킨다.
• MOSEI에서 TSDA는 MAE를 정렬 시 0.529, 비정렬 시 0.527로 달성하고 가장 높은 정확도와 F1 점수를 기록한다.
• 추론에 의한 제거가 시간적 구성 요소나 분리 중 하나를 제거하는 것보다 성능 저하에 더 크게 작용하며, FCCA는 교차 요인 간 간섭을 방지하는 데 필수적이다.
• 게이트 재결합 모듈은 신뢰성 신호에 따라 요인을 적응적으로 가중하여 성능을 향상시키고, 단순 융합 기반의 베이스라인보다 우수하다.