[論文レビュー] Polarity and Intensity: the Two Aspects of Sentiment Analysis

Leimin Tian, Catherine Lai+1 more|arXiv (Cornell University)|Jul 4, 2018

Sentiment Analysis and Opinion Mining参考文献 18被引用数 4

ひとこと要約

本稿では、感情点数を極性と強度の側面に分解するマルチタスク学習フレームワークを提案しており、単モodalおよびマルチモーダルモデルがこれらの要素を共同で予測することで利益を享受することを示している。CMU-MOSIにおける実験から、視覚モダリティは強度を伝える能力が弱い一方で、音声および言語モダリティは極性を伝える能力に欠けることが判明し、モダリティ統合により補完的な強みを組み合わせることで性能が向上することがわかった。

ABSTRACT

Current multimodal sentiment analysis frames sentiment score prediction as a general Machine Learning task. However, what the sentiment score actually represents has often been overlooked. As a measurement of opinions and affective states, a sentiment score generally consists of two aspects: polarity and intensity. We decompose sentiment scores into these two aspects and study how they are conveyed through individual modalities and combined multimodal models in a naturalistic monologue setting. In particular, we build unimodal and multimodal multi-task learning models with sentiment score prediction as the main task and polarity and/or intensity classification as the auxiliary tasks. Our experiments show that sentiment analysis benefits from multi-task learning, and individual modalities differ when conveying the polarity and intensity aspects of sentiment.

研究の動機と目的

• 感情点数予測が、補助タスクとしての極性と強度を組み込むことでマルチタスク学習の恩恵を受けるかどうかを調査すること。
• 個々のモダリティ（音声、視覚、言語）が感情の極性と強度の側面をどのように異なって伝えるかを分析すること。
• マルチタスク学習が、単モダルおよびマルチモーダルモデルの感情分析に異なる影響を与えるかどうかを理解すること。
• マルチモーダル感情伝達におけるモダリティ内およびモダリティ間ダイナミクスを詳細に理解すること。
• 人間のマルチモーダルコミュニケーションにおける感情側面（極性／強度）と感情次元（価値／覚醒）との間の関係を探索すること。

提案手法

• 感情点数回帰を主タスクとし、極性および／または強度分類を補助タスクとするマルチタスク学習フレームワークを提案する。
• CMU-MOSIデータセットを用いて、エアリー、レイト、エアリー・フェージョン戦略を用いた早期融合、後期融合、および早期融合戦略を用いた単モダルモデル（音声、視覚、言語）およびマルチモーダル統合モデルを訓練する。
• 感情点数予測の評価指標として、平均絶対誤差（MAE）および相関係数（CC）を用いる。
• 分類タスク（極性および強度）には交差エントロピー損失を、回帰タスク（感情点数）には平均二乗誤差を適用する。
• 一般化および特徴の整合性を向上させるために、タスク間で共有表現学習戦略を採用する。
• 異なる統合戦略（早期融合、後期融合、早期融合）および補助タスクの有無を比較して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 極性と強度を補助タスクとして含めることで、感情点数予測はマルチタスク学習の恩恵を受けるか？
• RQ2 個々のモダリティは、感情の極性と強度の側面を異なる方法で伝えるか？
• RQ3 マルチタスク学習は、単モダルおよびマルチモーダル感情分析モデルに異なる影響を与えるか？
• RQ4 個々のモダリティが極性と強度を伝える能力の強みが、モダリティ間統合性能とどのように関連しているか？
• RQ5 モダリティが感情側面（極性／強度）を伝える方法と、感情次元（例：価値／覚醒）を伝える方法に類似したパターンが見られるか？

主な発見

• すべての単モダルモデルが、極性および／または強度を補助タスクとして用いるマルチタスク学習を適用することで、感情点数予測の性能が向上した。
• 視覚モダリティは極性に比べて強度を伝える能力が著しく弱く、音声および言語モダリティは極性を伝える能力に劣っていた。
• マルチモーダルモデルはモダリティ統合によって利益を得たが、マルチタスク学習による向上は単モダルモデルほど顕著ではなかった。これは、統合がモダリティ固有の弱みを補っていることを示唆している。
• 最も優れたモデル（両方の極性および強度を補助タスクとして用いた早期融合）は、CMU-MOSIのテストセットで相関係数（CC）0.482およびMAE 1.172を達成した。
• 人間のパフォーマンスは、CC 0.820およびMAE 0.710を示しており、自動化システムにおけるさらなる改善の余地が大きいことが示された。
• 結果は、感情側面（極性／強度）と感情次元（価値／覚醒）との間の概念的かつ実証的関連性を支持しており、両分野で類似したモダリティ固有のパターンが観察された。