[論文レビュー] A First Step in Combining Cognitive Event Features and Natural Language Representations to Predict Emotions

Andres Campero, Bjarke Felbo+2 more|arXiv (Cornell University)|Oct 23, 2017

Topic Modeling参考文献 4被引用数 3

ひとこと要約

本稿では、感情理論の認知的評価特徴と事前学習済み自然言語表現（例：DeepMoji）を組み合わせることで、細分化された感情予測を向上させるマルチタスク学習フレームワークを提案する。感情、絵文字、評価予測を同時に学習することで、モデルは人間水準の性能（65%の正解率）を達成し、人間がラベル付けした評価特徴のみよりも、思考化脳領域における神経活動とより良い類似性構造を生成する。

ABSTRACT

We explore the representational space of emotions by combining methods from different academic fields. Cognitive science has proposed appraisal theory as a view on human emotion with previous research showing how human-rated abstract event features can predict fine-grained emotions and capture the similarity space of neural patterns in mentalizing brain regions. At the same time, natural language processing (NLP) has demonstrated how transfer and multitask learning can be used to cope with scarcity of annotated data for text modeling. The contribution of this work is to show that appraisal theory can be combined with NLP for mutual benefit. First, fine-grained emotion prediction can be improved to human-level performance by using NLP representations in addition to appraisal features. Second, using the appraisal features as auxiliary targets during training can improve predictions even when only text is available as input. Third, we obtain a representation with a similarity matrix that better correlates with the neural activity across regions. Best results are achieved when the model is trained to simultaneously predict appraisals, emotions and emojis using a shared representation. While these results are preliminary, the integration of cognitive neuroscience and NLP techniques opens up an interesting direction for future research.

研究の動機と目的

• 認知科学の評価理論を現代のNLP技術と統合し、感情表現を向上させること。
• 転移学習とマルチタスク学習を活用することで、感情予測におけるデータ不足の問題を解決すること。
• 評価、感情、絵文字の共同モデリングが表現品質および神経類似性を向上させるかどうかを評価すること。
• NLP表現を認知特徴と組み合わせることで、テキストのみの状況下でも感情予測が向上するかどうかを検証すること。
• マルチタスク学習が、思考化脳領域における神経パターンとより強く相関する表現を生成するかどうかを評価すること。

提案手法

• 200件の感情に富んだ物語から文脈に応じたテキスト表現を抽出するために、事前学習済みのDeepMojiモデルを微調整した。
• 認知科学から手作業でラベル付けされた38の評価特徴と、これらのNLP表現を統合した。
• 共有表現を用いて、同時に感情、絵文字、評価特徴の再構築を予測するマルチタスクモデルを訓練した。
• 共有表現層の後に、感情分類用、絵文字予測用、評価特徴再構築用の3つの別々のヘッドを配置した。
• 評価特徴再構築には平均二乗誤差損失を、感情および絵文字分類にはカテゴリカル交差エントロピー損失を適用した。
• 感情分類のモデル性能を線形SVMで評価し、fMRI神経データとの比較のために表現の相違行列（RDM）を用いた。

実験結果

リサーチクエスチョン

• RQ1 NLP表現と認知的評価特徴を組み合わせることで、最先端のベースラインを上回る細分化された感情予測が可能になるか？
• RQ2 訓練中に評価特徴を補助的ターゲットとして使用した場合、テキストのみの状況下でも感情予測が向上するか？
• RQ3 感情、絵文字、評価予測のマルチタスク学習により、思考化脳領域における神経パターンとより良い類似性を持つ表現が得られるか？
• RQ4 モデル出力の表現類似性は、人間がラベル付けした評価特徴と神経データのどちらとより類似しているか？
• RQ5 大規模な絵文字予測からの転移学習が、リソースが限られた感情分類タスクの性能向上に寄与するか？

主な発見

• NLP表現と評価特徴を組み合わせたマルチタスクモデルは、感情予測で64%の正解率を達成し、人間水準の性能（65%）に近づいた。
• 評価特徴が訓練中に補助的ターゲットとしてのみ使用された場合でも、テキストのみで42%の正解率を達成したが、これはベースラインモデルを著しく上回った。
• マルチタスクモデルの表現相違行列（RDM）は、ToM脳領域の活動と Kendall’s tau 0.29 の類似性を示し、DeepMoji（0.25）および評価特徴のみ（0.27）を上回った。
• マルチタスクモデルの表現は、RTPJ（0.27）およびToMネットワーク（0.29）において、人間がラベル付けした評価特徴（0.27）よりも神経パターンとより強く相関した。
• 感情、絵文字、評価の3つのタスクを同時に学習したモデルは、単一モodalアプローチよりも、思考化脳領域の類似性構造をよりよく捉えた表現を生成した。
• NLP表現と評価特徴の組み合わせにより、最良のベースライン（DeepMoji：53%）と比較して、感情分類性能が7%向上した（マルチタスク：64%）。