[논문 리뷰] Seq2Seq2Sentiment: Multimodal Sequence to Sequence Models for Sentiment Analysis

Hai Pham, Thomas Manzini외 2명|arXiv (Cornell University)|2018. 07. 11.

Topic Modeling참고 문헌 35인용 수 14

한 줄 요약

이 논문은 텍스트, 오디오, 비디오 데이터로부터 공동 표현을 학습하기 위해 비지도 다중모态 순서기반 번역 모델 두 가지—Seq2Seq 모odal 번역 및 계층적 Seq2Seq 모달 번역—을 제안한다. 다양한 모odal 간의 순차적 종속성을 활용함으로써, 이 모델들은 CMU-MOSI 데이터셋에서 이모달 감성 분석에서 F1 점수 12점 향상률을 기록하며, 지도 학습 기반 모델들을 능가하며 비지도 사전학습의 효과성을 입증한다.

ABSTRACT

Multimodal machine learning is a core research area spanning the language, visual and acoustic modalities. The central challenge in multimodal learning involves learning representations that can process and relate information from multiple modalities. In this paper, we propose two methods for unsupervised learning of joint multimodal representations using sequence to sequence (Seq2Seq) methods: a extit{Seq2Seq Modality Translation Model} and a extit{Hierarchical Seq2Seq Modality Translation Model}. We also explore multiple different variations on the multimodal inputs and outputs of these seq2seq models. Our experiments on multimodal sentiment analysis using the CMU-MOSI dataset indicate that our methods learn informative multimodal representations that outperform the baselines and achieve improved performance on multimodal sentiment analysis, specifically in the Bimodal case where our model is able to improve F1 Score by twelve points. We also discuss future directions for multimodal Seq2Seq methods.

연구 동기 및 목표

• 풍부한 레이블이 없는 다중미디어 데이터가 존재하는 바에도 불구하고, 다중모달 감성 분석에서 비지도 표현 학습의 부족을 해결하기 위해.
• 순서기반 번역 모델을 통해 학습한 공동 다중모달 표현이 후속 감성 분류 성능을 향상시킬 수 있는지 탐색하기 위해.
• Seq2Seq 기반 아키텍처가 텍스트, 오디오, 비디오 간의 다중모달 및 순차적 종속성을 얼마나 잘 포착하는지 조사하기 위해.
• 학습된 다중모달 표현의 성능을 단모달 및 다중모달 지도 학습 기반 모델들과 비교하기 위해.
• 공동 표현 공간 내에서 텍스트 모달의 분류 능력 유지 측면에서 현재 다중모달 모델의 한계를 규명하기 위해.

제안 방법

• 다른 모달로부터 하나의 모달을 재구성하는 데 목적이 있는 인코더-디코더 프레임워크를 사용하여, 자동에코와 유사한 구조로 공동 다중모달 표현을 학습하는 Seq2Seq 모달 번역 모델을 제안한다.
• 두 단계의 Seq2Seq 학습을 적용하는 계층적 Seq2Seq 모달 번역 모델을 도입한다. 첫 번째 단계에서는 모달별로 표현을 학습하고, 두 번째 단계에서는 다양한 모달 간의 공동 표현을 학습한다.
• 각 모달 내의 순차적 종속성을 모델링하고 다중모달 생성을 가능하게 하기 위해 양방향 LSTMs를 인코더로, 순차적 생성을 위한 자기회귀적 LSTMs를 디코더로 사용한다.
• 다양한 입력 및 출력 구성(전체 다중모달 입력 및 모달별 특화된 변형 포함)을 활용하여 모델의 강건성과 각 모달의 기여도를 평가한다.
• 감성 레이블이 필요 없이 재구성 손실을 사용하여 사전학습 단계에서 비지도 방식으로 모델을 훈련한다.
• CMU-MOSI 데이터셋을 사용하여 후속 감성 분류 작업에서 학습된 다중모달 표현을 미세조정한다.

실험 결과

연구 질문

• RQ1 비지도 순서기반 번역 모델이 텍스트, 오디오, 비디오로부터 공동 다중모달 표현을 효과적으로 학습하여 다중모달 감성 분석 성능을 향상시킬 수 있는가?
• RQ2 Seq2Seq 모델의 다양한 입력 및 출력 구성이 학습된 다중모달 표현의 품질에 어떤 영향을 미치는가?
• RQ3 계층적 아키텍처가 다중모달 환경에서 표준 Seq2Seq 접근법에 비해 표현 학습 성능을 향상시키는가?
• RQ4 학습된 표현이 텍스트 모달의 분류 능력을 얼마나 잘 유지하는가, 특히 단모달 텍스트 기반 모델들과 비교했을 때?
• RQ5 CMU-MOSI 학습 세트의 크기가 제한되어 있는 상황에서, 더 큰 외부 데이터셋에서의 사전학습이 성능 향상에 기여할 수 있는가?

주요 결과

• 제안된 Seq2Seq 모달 번역 모델은 기준 모델 대비 이모달 감성 분석 설정에서 F1 점수 12점 향상률을 기록한다.
• 이 모델은 단모달 및 다중모달 지도 학습 기반 모델들을 모두 능가하며, 순서 모델링을 통한 비지도 사전학습의 가치를 입증한다.
• 텍스트 모달이 가장 분류 능력이 높으며, 공동 다중모달 공간 내에서 텍스트 표현의 열화로 인해 모델의 성능이 제한된다.
• 오직 오디오와 비디오에서 학습된 표현은 성능이 열악하여, 텍스트에 비해 분류 능력이 떨어짐을 확인한다.
• 계층적 Seq2Seq 모델은 전망은 있으나 데이터 부족으로 인해 제약을 받으며, 더 큰 데이터셋 또는 사전학습이 성능 향상에 기여할 수 있음을 시사한다.
• 대부분의 표현 학습과 분류 헤드를 별도로 훈련시키는 방식이 성능을 제한함을 규명하였으며, 이는 종단간 훈련 방식이 추가적인 성능 향상 가능성을 시사한다.