[論文レビュー] ANA at SemEval-2019 Task 3: Contextual Emotion detection in Conversations through hierarchical LSTMs and BERT

Chenyang Huang, Amine Trabelsi+1 more|arXiv (Cornell University)|Mar 30, 2019

Sentiment Analysis and Opinion Mining参考文献 16被引用数 5

ひとこと要約

本稿では、会話文における文脈的感情検出のための階層的LSTMアーキテクチャにマルチヘッド自己注意機構を組み合わせたHRLCEモデルを提示する。このモデルは、SemEval-2019 Task 3データセットにおいてBERTを上回る性能を発揮した。HRLCEとBERTのアンサンブルは、165チーム中5位にランクされたmacro-F1スコア0.7709を達成した。

ABSTRACT

This paper describes the system submitted by ANA Team for the SemEval-2019 Task 3: EmoContext. We propose a novel Hierarchical LSTMs for Contextual Emotion Detection (HRLCE) model. It classifies the emotion of an utterance given its conversational context. The results show that, in this task, our HRCLE outperforms the most recent state-of-the-art text classification framework: BERT. We combine the results generated by BERT and HRCLE to achieve an overall score of 0.7709 which ranked 5th on the final leader board of the competition among 165 Teams.

研究の動機と目的

• 会話文の文脈的感情検出を向上させるために、複数の会話ターンにおける文脈を効果的にモデル化すること。
• 比喩的表現、絵文字、クラス不均衡を伴う短い非公式なSNSテキストにおける感情検出の課題に対処すること。
• 発話とその会話履歴から、意味的および感情的文脈を両方とも捉えるモデルの開発。
• 会話文脈における感情分類において、BERTのような最先端モデルを上回ること。
• 階層的LSTMとBERTを組み合わせた堅牢なアンサンブルシステムを構築し、EmoContextタスクにおける性能を向上させること。

提案手法

• 2つのRNN層（発話エンコーダーと文脈エンコーダー）を用いて、発話レベルでは発話を、会話レベルでは文脈を、階層的LSTM（HRED）で符号化する。
• 文脈レベルの隠れ状態にマルチヘッド自己注意を統合し、文脈表現を精緻化し、長距離依存関係を捉える。
• BERT、ELMo、GloVe、DeepMojiを含む事前学習済み埋め込みを用いて、単語レベルの意味的および感情的表現を豊かにする。
• 文脈（u1, u2）を1番目の文として、ターゲット発話（u3）を2番目の文として与えることで、BERTを微調整し、文脈とターゲットの関係を強調する。
• 実証的ラベル分布推定値を用いたクラスウェイト付き交差エントロピー損失を適用し、クラス不均衡の影響を軽減する。
• 9分割交差検証設定下で、HRLCEとBERTの予測結果を多数決によるアンサンブル化することで、モデルの安定性とアンサンブル性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構を備えた階層的LSTMアーキテクチャは、会話文における文脈的感情検出においてBERTを上回ることができるか？
• RQ2 BERT、ELMo、GloVe、DeepMojiといった複数の事前学習埋め込みの統合は、意味的および感情的特徴を効果的に捉えることができるか？
• RQ3 階層的RNNを用いて会話文脈をモデル化することで、単一シーケンスモデルと比較して感情分類の正確性がどの程度向上するか？
• RQ4 クラス不均衡および比喩的表現は、SNSテキストにおける感情検出性能にどのように影響を与えるか？
• RQ5 HRLCEとBERTのアンサンブルは、個々のモデルと比較してEmoContextベンチマークで優れた性能を発揮できるか？

主な発見

• HRLCEモデルは開発セットにおいて最高の個別macro-F1スコアを達成し、BERTおよび単純なLSTMベースラインを上回った。
• HRLCEとBERTのアンサンブルは、テストセットでmacro-F1スコア0.7709を達成し、SemEval-2019 Task 3コンテストで165チーム中5位にランクされた。
• 全モデルにおいて「Sad」が最も高い正確度で分類されたが、「Happy」は特に「Others」カテゴリに誤分類される頻度が高かった。
• 誤分類は主に「Others」カテゴリと3つの主要な感情（Happy、Angry、Sad）の間で発生しており、中立的または曖昧な感情表現の区別が難しいことが示された。
• テストセットにおけるモデルの性能は開発セットよりもわずかに低く、ドメインシフトまたは過学習の兆候が示唆された。
• 混同行列から、Happy、Angry、Sadの間での相互分類は最小限に抑えられており、他のクラスと組み合わせた場合に主な感情の識別能が強く保たれていることがわかった。