[論文レビュー] Complementary Fusion of Multi-Features and Multi-Modalities in Sentiment Analysis

Feiyang Chen, Ziqian Luo+2 more|arXiv (Cornell University)|Apr 17, 2019

Sentiment Analysis and Opinion Mining参考文献 35被引用数 53

ひとこと要約

DFF-ATMFを紹介します。これは多機能音声融合と多模態注意を統合して感情分析を改善する、CMU-MOSI、CMU-MOSEI、IEMOCAPデータセット全体で競争力のあるまたは最先端の結果を達成する音声-テキスト多模態モデルです。特徴の相補性と頑健さを示します。

ABSTRACT

Sentiment analysis, mostly based on text, has been rapidly developing in the last decade and has attracted widespread attention in both academia and industry. However, the information in the real world usually comes from multiple modalities, such as audio and text. Therefore, in this paper, based on audio and text, we consider the task of multimodal sentiment analysis and propose a novel fusion strategy including both multi-feature fusion and multi-modality fusion to improve the accuracy of audio-text sentiment analysis. We call it the DFF-ATMF (Deep Feature Fusion - Audio and Text Modality Fusion) model, which consists of two parallel branches, the audio modality based branch and the text modality based branch. Its core mechanisms are the fusion of multiple feature vectors and multiple modality attention. Experiments on the CMU-MOSI dataset and the recently released CMU-MOSEI dataset, both collected from YouTube for sentiment analysis, show the very competitive results of our DFF-ATMF model. Furthermore, by virtue of attention weight distribution heatmaps, we also demonstrate the deep features learned by using DFF-ATMF are complementary to each other and robust. Surprisingly, DFF-ATMF also achieves new state-of-the-art results on the IEMOCAP dataset, indicating that the proposed fusion strategy also has a good generalization ability for multimodal emotion recognition.

研究の動機と目的

• テキストだけでなく音声を活用して、マルチモーダル感情分析を推進する。
• 複数特徴融合と多モダリティ融合を組み合わせた融合戦略を提案する。
• CMU-MOSI、CMU-MOSEI、IEMOCAPデータセットでDFF-ATMFモデルを開発および評価する。

提案手法

• Bi-LSTMベースの特徴抽出を用いた音声とテキストモダリティの2つの平行ブランチ。
• 各モダリティ内の多機能融合（生波形と音響特徴の統合）。
• TSV（Text Sentiment Vector）のためのBERT埋め込みを用いたテキスト表現を、Bi-LSTMと注意機構に続けて適用。
• ASVとTSVをそれぞれの多機能ベクトルと組み合わせた多模態注意融合で最終予測を行う。
• 交差エントロピー損失、ドロップアウト、Adam最適化を用いて学習し、評価は重み付き精度とMacro F1で実施。

実験結果

リサーチクエスチョン

• RQ1 多機能と多モダリティ注意を組み合わせる融合戦略は、単一機能または単一モダリティのベースラインよりもマルチモーダル感情分析を改善できるか？
• RQ2 提案されたDFF-ATMFモデルで学習された特徴は、データセット間およびタスク間で相補性と頑健性を示すか（感情分析と感情認識）？

主な発見

モデル	CMU-MOSI 精度	CMU-MOSI F1	CMU-MOSEI 精度	CMU-MOSEI F1	IEMOCAP 総合精度	IEMOCAP Macro F1
( ? )	79.30	80.12	-	-	75.60	76.31
( ? )	80.10	80.62	-	-	-	-
( ? )	74.93	75.42	76.24	77.03	-	-
( ? )	76.60	76.93	-	-	78.20	78.79
( ? )	80.58	80.96	79.74	80.15	-	-
DFF-ATMF	80.98	81.26	77.15	78.33	81.37	82.29

• DFF-ATMFは提案設定でCMU-MOSIにおいて80.98%の精度、CMU-MOSIで81.26%のF1を達成。
• DFF-ATMFはCMU-MOSEIで77.15%の精度と78.33%のF1を達成。
• IEMOCAPでは総合精度81.37%とMacro F1 82.29%を達成。
• DFF-ATMFはCMU-MOSIとIEMOCAPでいくつかの最先端モデルを上回り、CMU-MOSEIでは競合的である。
• 注意ヒートマップは、学習された特徴がデータセットを超えて相補的で頑健であることを示している。