[論文レビュー] BiERU: Bidirectional Emotional Recurrent Unit for Conversational Sentiment Analysis

Wei Li, Wei Shao+2 more|arXiv (Cornell University)|May 31, 2020

Sentiment Analysis and Opinion Mining参考文献 64被引用数 40

ひとこと要約

BiERUは、Generalized Neural Tensor Block (GNTB)とTwo-channel Feature Extractor (TFE)を備えた高速でコンパクトなパーティー無依存（party-ignorant）フレームワークを導入し、感情分析のための対話における文脈をモデル化します。双方向の変種であるBiERU-gcとBiERU-lcは、より少ないパラメータで最先端の結果を達成します。

ABSTRACT

Sentiment analysis in conversations has gained increasing attention in recent years for the growing amount of applications it can serve, e.g., sentiment analysis, recommender systems, and human-robot interaction. The main difference between conversational sentiment analysis and single sentence sentiment analysis is the existence of context information which may influence the sentiment of an utterance in a dialogue. How to effectively encode contextual information in dialogues, however, remains a challenge. Existing approaches employ complicated deep learning structures to distinguish different parties in a conversation and then model the context information. In this paper, we propose a fast, compact and parameter-efficient party-ignorant framework named bidirectional emotional recurrent unit for conversational sentiment analysis. In our system, a generalized neural tensor block followed by a two-channel classifier is designed to perform context compositionality and sentiment classification, respectively. Extensive experiments on three standard datasets demonstrate that our model outperforms the state of the art in most cases.

研究の動機と目的

• 対話型の感情分析における文脈情報の符号化課題に対処する。
• 多ターンの対話を扱う高速でコンパクト、パラメータ効率の高いパーティー無依存モデルを開発する。
• 文脈の構成性を導入し、文脈を発話表現に統合する機構を導入する。
• 感情特徴を効率的に抽出して感情分類と回帰を改善する。
• 標準ベンチマークで、より少ないパラメータで最先端の性能を示す。

提案手法

• Generalized Neural Tensor Block (GNTB)とTwo-channel Feature Extractor (TFE)からなる双方向ERU (BiERU)を提案する。
• GNTBは、過去の文脈発話と現在の発話を組み合わせて文脈付き発話ベクトル p_t を生成することで文脈構成性をモデル化する。
• TFEはLSTMブランチと1D-CNNブランチを用いてp_tから感情特徴を抽出し、予測に用いるe_tを生成する。
• BiERU-gc (global context) と BiERU-lc (local context) の2つのBiERU変種を実装し、異なる文脈情報源を捉える。
• 分類にはクロスエントロピー損失、回帰にはMSE損失でモデルを訓練し、L2正則化とAdam最適化を用いる。

実験結果

リサーチクエスチョン

• RQ1 明示的な話者分離なしで、コンパクトなパーティー無依存モデルが対話の文脈を感情分析のために効果的に捉えられるか？
• RQ2 GNTBを用いた文脈構成性は、既存手法と比較して発話表現と下流の感情分類/回帰を改善するか？
• RQ3 グローバル対ローカルの文脈入力は、標準的な対話感情ベンチマークで性能にどのように影響するか？
• RQ4 最先端のパーティー依存およびパーティー無依存のベースラインと比較したBiERUのパラメータ効率と訓練効率はどの程度か？

主な発見

• BiERU-lcはIEMOCAPで最先端の結果を、MELDで競争力のある性能を、AVECではテキストモダリティを用いた場合に競合的な性能を示す。
• BiERUモデルは、DialogueRNN、DialogueGCN、AGHMN などのベースラインを、パラメータ数を抑えつつ複数の指標で上回る。
• BiERU-lcは一般にBiERU-gcを上回り、局所的な文脈情報が感情モデリングに有効であることを示唆する。
• アブレーションにより、GNTBとTFEを組み合わせると、いずれか一方のみを用いた場合よりも精度/ F1が顕著に向上することが示された。
• BiERUは高いパラメータ効率を示し（例：IEMOCAPで約0.5Mパラメータ、DialogueRNNは約1M）、訓練時間もより速い。