[논문 리뷰] Multimodal Sentiment Analysis using Hierarchical Fusion with Context Modeling

Navonil Majumder, Devamanyu Hazarika외 3명|arXiv (Cornell University)|2018. 06. 16.

Sentiment Analysis and Opinion Mining인용 수 13

한 줄 요약

이 논문은 다중모odal 감성 분석을 위한 계층적 융합 프레임워크를 제안한다. 먼저 완전 연결 층을 사용해 단모달 특징을 이모달 표현으로 융합한 후, GRU를 통한 맥락 모델링을 통해 이모달 표현을 삼모달 표현으로 융합한다. 이 방법은 CMU-MOSI 및 IEMOCAP 데이터셋에서 최신 기술 대비 1–2.4%의 정확도 향상을 달성하며, 문장 수준의 감성 분석에서 최대 10%의 오차율 감소를 이룬다.

ABSTRACT

Multimodal sentiment analysis is a very actively growing field of research. A promising area of opportunity in this field is to improve the multimodal fusion mechanism. We present a novel feature fusion strategy that proceeds in a hierarchical fashion, first fusing the modalities two in two and only then fusing all three modalities. On multimodal sentiment analysis of individual utterances, our strategy outperforms conventional concatenation of features by 1%, which amounts to 5% reduction in error rate. On utterance-level multimodal sentiment analysis of multi-utterance video clips, for which current state-of-the-art techniques incorporate contextual information from other utterances of the same clip, our hierarchical fusion gives up to 2.4% (almost 10% error rate reduction) over currently used concatenation. The implementation of our method is publicly available in the form of open-source code.

연구 동기 및 목표

• 단순한 특징 연결 방식이 모달 간 충돌하는 신호를 처리하지 못하는 데 기인한 제약를 해결하기 위해.
• 모듈을 쌍으로 조합한 후 전체 세 모달을 융합하는 방식으로 융합 과정을 계층적으로 구성하여 다중모달 융합 성능을 향상시키기 위해.
• 순차적인 영상 클립에서 표현 학습을 향상시키기 위해 문장 수준의 맥락을 GRU를 통해 통합하기 위해.
• 기존 최신 기술 대비 다중모달 감성 및 감정 분류 성능을 뛰어넘기 위해.

제안 방법

• 모든 문장에 대해 전용 인코더를 사용해 단모달 특징(텍스트, 음성, 영상)을 추출한다.
• 완전 연결 층을 통해 이모달 특징 융합을 수행하여 맥락 인식 기반의 이모달 표현을 생성한다.
• 이모달 융합 특징에 대해 GRU를 적용하여 문장 간 맥락 정보를 모델링한다.
• 다른 완전 연결 층을 통해 세 개의 이모달 표현을 융합하여 삼모달 융합 표현을 도출한 후, 추가로 GRU를 적용해 맥락을 전파한다.
• 최종 융합 표현은 소프트맥스 레이어를 통해 감성 분류에 사용된다.
• 모델는 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, 구현 코드는 GitHub에 공개되어 있다.

실험 결과

연구 질문

• RQ1 전체 융합 전에 모달을 쌍으로 조합하는 계층적 융합 전략이 단순 연결 방식에 비해 다중모달 감성 분류 정확도를 향상시킬 수 있는가?
• RQ2 GRU를 통한 문장 수준의 맥락 통합이 영상 클립에서의 다중모달 감성 분석 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 단모달 및 다중모달 감성 분류 작업 모두에서 최신 기술을 초월하는가?
• RQ4 특히 텍스트가 음성 또는 시각적 신호와 모순될 때 모델은 모달 간 충돌하는 신호를 어떻게 처리하는가?
• RQ5 기존 융합 기법에 비해 계층적 융합 메커니즘이 오차율 감소에 얼마나 기여하는가?

주요 결과

• 제안된 계층적 융합(HFusion) 방법은 개별 문장 감성 분석에서 단순 연결 방식 대비 1%의 정확도 향상을 달성했으며, 이는 오차율 5% 감소에 해당한다.
• 다중 문장 영상 클립에서 HFusion은 기준 연결 방식 대비 최대 2.4% 높은 정확도를 기록했으며, 이는 약 10%의 오차율 감소에 해당한다.
• CMU-MOSI 데이터셋에서 HFusion은 모든 모달 조합에서 최신 기술 대비 1–2%의 정확도 향상을 달성했으며, 특히 다중모달 설정에서 가장 높은 성과를 기록했다.
• IEMOCAP 데이터셋에서 HFusion은 최신 기술 대비 1–2.4% 높은 정확도를 기록했으며, 삼모달 성능은 텍스트 전용 성능 대비 3% 높았다.
• 맥락 모델링을 통한 모델(CHFusion)은 모든 모달 조합에서 HFusion 대비 1–2% 높은 성능을 기록했으며, 순차적 맥락 통합의 유용성을 확인했다.
• IEMOCAP에서의 클래스별 분석 결과, F-스코어가 일관되게 향상되었으며(예: 기쁨 81.4%, 분노 77.6%), 감정 카테고리 전반에 걸쳐 뛰어난 성능을 보였다.