[論文レビュー] A Multi-task Ensemble Framework for Emotion, Sentiment and Intensity Prediction

Md Shad Akhtar, Deepanway Ghosal+3 more|arXiv (Cornell University)|Aug 3, 2018

Sentiment Analysis and Opinion Mining参考文献 30被引用数 33

ひとこと要約

本稿では、深層学習（CNN、LSTM、GRU）とハンドクラフト特徴量をマルチレイヤーパーセプトロンを介して統合することで、感情、センチメント、強度を同時に予測するマルチタスクアンサンブルフレームワークを提案する。複数のデータセットにおいて、単一タスクシステムと比較して平均F1スコアで2–3ポイントの向上を達成しており、粗粒度の感情分類、細粒度の感情分析（価値、覚醒）、細粒度のセンチメント分析（価値、覚醒）において優れた性能を示している。

ABSTRACT

In this paper, through multi-task ensemble framework we address three problems of emotion and sentiment analysis i.e. "emotion classification & intensity", "valence, arousal & dominance for emotion" and "valence & arousal} for sentiment". The underlying problems cover two granularities (i.e. coarse-grained and fine-grained) and a diverse range of domains (i.e. tweets, Facebook posts, news headlines, blogs, letters etc.). The ensemble model aims to leverage the learned representations of three deep learning models (i.e. CNN, LSTM and GRU) and a hand-crafted feature representation for the predictions. Experimental results on the benchmark datasets show the efficacy of our proposed multi-task ensemble frameworks. We obtain the performance improvement of 2-3 points on an average over single-task systems for most of the problems and domains.

研究の動機と目的

• 粗粒度の感情およびセンチメント分類の限界を克服するため、強度および連続的スケールの価値／覚醒予測を統合する。
• 関連する複数のタスク（感情分類と強度、細粒度の感情次元（価値、覚醒、優位性）、細粒度のセンチメント（価値、覚醒））を同時に学習することで、一般化性能と性能を向上させる。
• アンサンブルアーキテクチャを用いて、深層ニューラルネットワークの表現とハンドクラフト特徴量を統合し、予測精度を向上させる。
• ツイート、Facebook投稿、ニュース、ブログなど多様なドメインにおいて、マルチタスク学習の有効性を実証する。

提案手法

• テキストからの文脈的表現を抽出するため、3つの独立した深層ニューラルネットワーク（畳み込みニューラルネットワーク（CNN）、長短期記憶（LSTM）、ゲート付き再帰ユニット（GRU））を訓練する。
• CNN、LSTM、GRUが学習した表現とハンドクラフト特徴量ベクトルを統合し、マルチレイヤーパーセプトロン（MLP）アンサンブルネットワークの入力として一つの入力に統合する。
• MLPを用いて1回のフォワードパスで複数の出力を同時に予測する：(1) 感情クラスと強度（分類＋回帰）、(2) 価値と覚醒（回帰）、(3) 価値、覚醒、優位性（回帰）。
• タスク間で共有表現を用いることで、一般化性能を向上させ、過学習を低減する目的で、アンサンブルモデルをエンドツーエンドで最適化する。
• 感情の強度と価値の間の相関関係を活用することで、関連するタスク間の特徴学習を強化するため、マルチタスク学習を適用する。
• 過学習を防ぐために、訓練中にエアリー・ストッピングとドロップアウトを適用し、妥当性評価のため10分割交差検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 感情分類と強度、連続的スケールの価値／覚醒予測といった関連タスクを同時に学習することで、マルチタスクアンサンブルフレームワークが感情およびセンチメント分析の性能向上に寄与するか？
• RQ2 深層学習表現（CNN、LSTM、GRU）とハンドクラフト特徴量を統合することで、異なる感情およびセンチメントタスクにおける予測精度にどのような影響を与えるか？
• RQ3 F1スコアおよび感情・センチメント強度予測におけるピアソン相関係数の観点から、マルチタスク学習が単一タスク学習をどの程度上回るか？
• RQ4 マルチタスク予測における主な誤りパターンは何か。また、ツイート、Facebook投稿、ニュース見出しといった異なるドメイン間で、そのパターンはどのように異なるか？
• RQ5 提案されたフレームワークは、タスク固有の再訓練を必要とせずに、多様なドメインおよびタスクの粒度（粗粒度対細粒度）に一般化可能か？

主な発見

• マルチタスクアンサンブルフレームワークは、すべての感情およびセンチメント予測タスクにおいて、単一タスクシステムと比較して平均F1スコアで2–3ポイントの向上を達成した。
• Facebook投稿データセットにおける細粒度のセンチメント分析では、価値のピアソン相関係数が0.727、覚醒が0.355を記録し、先行研究の最良結果（価値：0.650）を上回り、価値予測において顕著な改善を示した。
• マルチタスク学習によるより判別力の高い表現学習のおかげで、特に恐怖と悲しみの類似感情クラス間の誤りが低減された。
• 誤り分析の結果、比喩表現、慣用句、内的な感情、強い感情表現が主な誤り要因であることが判明した。
• 統計的有意性検定（t検定）により、10回の実行において性能向上が有意（p < 0.05）であることが確認され、提案手法の堅牢性が裏付けられた。
• フレームワークはマルチラベル感情分類に適応可能であるが、データの不足のため、マルチ感情データセットでは評価されていない。