[論文レビュー] Attention-based Modeling for Emotion Detection and Classification in Textual Conversations

Waleed Ragheb, Jérôme Azé+2 more|arXiv (Cornell University)|Jun 14, 2019

Sentiment Analysis and Opinion Mining参考文献 21被引用数 23

ひとこと要約

本稿では、微調整された汎用言語モデルと自己注意メカニズムを用いた、複数ターンの対話的テキスト会話における感情検出のための注目型深層学習モデルを提案する。このモデルは、顕著な感情的兆候に注目するための転移学習と自己注意メカニズムを活用し、SemEval-2019 タスク3データセットでマイクロ-F1スコア0.7582を達成した。これはベースラインを上回り、150名以上の参加者の中でも11位の成績であり、注目重みを用いた感情関連語の同定によって解釈可能性が高く保たれている。

ABSTRACT

This paper addresses the problem of modeling textual conversations and detecting emotions. Our proposed model makes use of 1) deep transfer learning rather than the classical shallow methods of word embedding; 2) self-attention mechanisms to focus on the most important parts of the texts and 3) turn-based conversational modeling for classifying the emotions. The approach does not rely on any hand-crafted features or lexicons. Our model was evaluated on the data provided by the SemEval-2019 shared task on contextual emotion detection in text. The model shows very competitive results.

研究の動機と目的

• 会話の複数ターンにわたる感情的ダイナミクスをモデル化することで、複数ターン会話における感情検出を改善すること。
• 手作業で作成した特徴量や感情語彙を排除し、エンドツーエンドの深層学習に依存すること。
• 注目重みの分析を通じて感情関連語の同定を可能にすることで、モデルの解釈可能性を向上させること。
• 文脈的な感情検出のベンチマークとしてのSemEval-2019 タスク3で競争力のある性能を達成すること。
• 自己注意とターンベースのモデリングが感情状態の変化を捉える効果的さを調査すること。

提案手法

• 一般テキストで事前学習し、感情分類に微調整した汎用言語モデル（AWD-LSTM）を用いて深層的転移学習を実施。
• 分類器で自己注意メカニズムを採用し、特に最初のターンと最後のターンに注目して、トークンの重要性を動的に重み付けする。
• 会話の各ターンを順番に処理することで感情状態の変化をモデル化し、分類に最も影響を与えるのは最後のターンである。
• 注目統合の前段階として、各ターン内の文脈的依存関係を捉えるために双方向LSTMエンコーダーを適用。
• 表現学習と耐性の向上を図るため、前方および後方の言語モデルのアンサンブルを用いる。
• 注目重みの解釈可能性を検証するため、上位20％の注目重み付きトークンがEmoLex感情語彙のエントリと一致するかを評価。

実験結果

リサーチクエスチョン

• RQ1 外部語彙に依存せずに、自己注意メカニズムが会話的テキストにおける感情関連語を効果的に同定できるか？
• RQ2 汎用言語モデルによる転移学習は、リソースが限られ、不均衡な会話的データセットにおける感情分類をどのように改善するか？
• RQ3 最初のターン、2番目のターン、最後のターンが、会話の最終的感情状態を予測するにあたり、それぞれどの程度の寄与をしているか？
• RQ4 なぜ『幸せ』という感情クラスは特に検出が困難であり、モデルの注目メカニズムはこの困難さにどのように反応するか？
• RQ5 ターンごとのダイナミクスをモデル化することで、単一ターンまたは集約表現に比べて性能がどの程度向上するか？

主な発見

• 提案モデルは、SemEval-2019 タスク3のテストセットでマイクロ-F1スコア0.7582を達成し、ベースラインモデル（F1: 0.5868）を顕著に上回った。
• 自己注意とターンベースモデリングの両方を用いたモデル-Aは、各感情クラスのF1スコアが最高であり、全体のマイクロ-F1でも最高となった。
• 自己注意層を削除したモデル-Bでは性能が低下し、感情的重要なコンテンツに注目する役割が重要であることが確認された。
• 最後のターンのみを入力したモデル-Eは、会話全体の要約表現を用いたモデル-Cよりも優れた結果を示し、最後のターンが感情予測において支配的であることが示された。
• 注目メカニズムは感情固有の語を効果的に強調した：検証セットにおいて、『幸せ』の上位20％の注目重み付きトークンのうち42.57％がEmoLexの『喜び』関連語と一致した。
• モデルは『幸せ』感情の検出においてやや低い性能を示したが、これは人間のアノテーションの困難さと一致しており、注目重みは喜び関連語を悲しみや怒りの語と明確に区別していた。