[論文レビュー] Decision support with text-based emotion recognition: Deep learning for affective computing

Bernhard Kratzwald, Suzana Ilić+3 more|arXiv (Cornell University)|Mar 16, 2018

Sentiment Analysis and Opinion Mining参考文献 65被引用数 18

ひとこと要約

本稿では、意思決定支援における感情計算の文脈で、転移学習を用いた再帰的ニューラルネットワーク（RNN）を用いた深層学習手法を提案する。従来手法と比較して、F1スコアは最大21%向上し、予測誤差は6%低減される。これは、感情分類および感情的強度の予測において優れた性能を示している。

ABSTRACT

Emotions widely affect the decision-making of humans and, hence, affective computing takes emotional states into account with the goal of tailoring decision support to individuals. However, the accurate recognition of emotions within narrative materials presents a challenging undertaking due to the complexity and ambiguity of language. Even though deep learning has evolved as the state-of-the-art in various tasks from text mining, its benefits with regard to affective computing are not yet understood. We thus propose the following innovations: (1) we adapt recurrent neural networks from the field of deep learning to affective computing. (2) We extend these networks for predicting the score of different affective dimensions. (3) We implement transfer learning for pre-training word embeddings. Analyzing the results, we find that deep learning consistently outperforms traditional machine learning with improvements of up to 21% in F1-score when labeling emotions and 6% in forecast errors when rating the intensity of emotions. Altogether, the findings have considerable implications for the use of affective computing in providing decision support.

研究の動機と目的

• 言語のニュアンスによる複雑さと曖昧さのため、物語的テキストにおける感情を正確に認識するという課題に対処すること。
• 特に再帰的ニューラルネットワーク（RNN）を含む深層学習技術を、感情計算分野に適応させ、感情検出を向上させること。
• RNNを拡張し、感情の強度や価値（valence）などの複数の感情次元におけるスコアを予測すること。
• モデルの汎化性能と性能を向上させるために、事前学習された単語埋め込みのための転移学習を実装すること。
• 従来の機械学習手法と比較して、深層学習の有効性を感情計算タスクにおいて評価すること。

提案手法

• 再帰的ニューラルネットワーク（RNN）を深層学習から採用し、テキスト感情データにおける逐次的依存関係をモデル化する。
• RNNアーキテクチャを拡張し、複数の感情次元における連続的スコアを予測可能にすることで、感情の強度推定を細分化可能にする。
• 大規模なテキストコーパスを用いて事前学習された単語埋め込みのための転移学習を適用し、感情分類のための表現学習を向上させる。
• モデルを物語的テキスト上でエンドツーエンドに訓練し、入力シーケンスを感情次元スコアにマッピングする。
• 感情ラベル付けのF1スコアや強度予測の予測誤差といった標準指標を用いて性能を評価する。
• 深層学習モデルと従来の機械学習ベースラインとの間で比較実験を実施し、相対的な向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワーク（RNN）は、物語的テキストにおける感情認識を従来の機械学習手法を上回る形で効果的に実行できるか？
• RQ2 単語埋め込みの事前学習にための転移学習は、感情認識性能をどの程度向上させるか？
• RQ3 深層学習モデルは、強度や価値（valence）などの複数の感情次元における連続的スコアをどの程度正確に予測できるか？
• RQ4 感情計算タスクにおいて、深層学習は従来のアプローチと比較して、F1スコアおよび予測誤差にどの程度の改善をもたらすか？

主な発見

• 深層学習モデルは、従来の機械学習手法と比較して、感情分類において最大21%高いF1スコアを達成した。
• 本手法では、感情の強度を予測する際の予測誤差が6%低減され、回帰性能の向上が示された。
• 単語埋め込みの事前学習にための転移学習は、モデルの汎化性能と正確性の向上に顕著な寄与を示した。
• 拡張されたRNNアーキテクチャは、テキスト内の逐次的パターンを効果的に捉え、多次元感情状態を予測するのに成功した。
• 感情ラベル付けおよび強度予測の両タスクにおいて一貫した性能向上が観察され、本手法の堅牢性が裏付けられた。