[論文レビュー] DialogueGCN: A Graph Convolutional Neural Network for Emotion Recognition in Conversation

Deepanway Ghosal, Navonil Majumder+3 more|arXiv (Cornell University)|Aug 30, 2019

Topic Modeling被引用数 8

ひとこと要約

本稿では、会話内の発話者間および自己発話者依存関係を、発話の有向グラフを用いてモデル化する DialogueGCN というグラフ畳み込みネットワークを提案する。関係性を表すエッジ特徴を用いて長距離の文脈的関係を捉えることで、IEMOCAP、MELD、AVEC において従来の RNN ベースのモデルを上回り、F1 スコア 64.18% および MAE 0.157 の最先端の性能を達成した。

ABSTRACT

Emotion recognition in conversation (ERC) has received much attention, lately, from researchers due to its potential widespread applications in diverse areas, such as health-care, education, and human resources. In this paper, we present Dialogue Graph Convolutional Network (DialogueGCN), a graph neural network based approach to ERC. We leverage self and inter-speaker dependency of the interlocutors to model conversational context for emotion recognition. Through the graph network, DialogueGCN addresses context propagation issues present in the current RNN-based methods. We empirically show that this method alleviates such issues, while outperforming the current state of the art on a number of benchmark emotion classification datasets.

研究の動機と目的

• 会話における感情認識（ERC）において、RNN ベースのモデルが長距離の文脈的依存関係を捉えることの限界を解決すること。
• 会話の感情的ダイナミクスをよりよく捉えるために、発話者間および発話者内（自己）の依存関係を両方モデル化すること。
• 順序付き RNN の代わりにグラフニューラルネットワークを活用することで、遠く離れた発話間の文脈伝搬を改善すること。
• 関係性を表すエッジ特徴（発話者および時間的依存関係）が、正確な感情分類に不可欠であることを示すこと。
• RNN が失敗するような短い発話や複雑な感情的文脈において、モデルの一般化性能が優れていることを示すこと。

提案手法

• 各ノードが発話を表す有向グラフを構築し、エッジが発話者間の依存関係と発話間の相対的時間的位置を符号化する。
• 長距離依存関係のモデル化を可能にするために、2層のグラフ畳み込みネットワーク（GCN）を用いてグラフ全体に文脈情報を伝搬させる。
• 2種類のエッジ関係を導入する：発話者レベルの依存関係（誰が誰に話しているか）と時間的依存関係（会話内での相対的位置）。
• グラフ伝搬の前段階として、順序付きエンコーダ（双向性 GRU）と発話者レベルのエンコーダを用い、発話および発話者固有の表現を学習する。
• ベンチマークデータセット上でマルチクラス感情分類のための交差エントロピー損失を用いて、エンドツーエンドでモデルを学習する。
• 発話間のエッジを定義するために、(10,10) のコンテキスト窓を用いることで、過去および未来の文脈を捉える。

実験結果

リサーチクエスチョン

• RQ1 RNN ベースのモデルと比較して、発話者間および自己発話者依存関係をモデル化することで、会話における感情認識が向上するか？
• RQ2 関係性を表すエッジ特徴（発話者および時間的依存関係）の導入が、モデルの性能にどのように影響するか？
• RQ3 順序付き RNN と比較して、グラフベースのアプローチは、短い発話や曖昧な発話の文脈伝搬をどのようによりよく処理するか？
• RQ4 モデルの異なる構成要素（例：順序付きエンコーダと発話者レベルのエンコーダ）が、全体の性能にどの程度寄与しているか？
• RQ5 テキスト特徴のみを用いた場合、マルチモodalなデータを含むデータセットにおいて、モデルの性能はどの程度か？

主な発見

• DialogueGCN は IEMOCAP データセットで最先端の F1 スコア 64.18% を達成し、以前の最先端モデルを大きく上回った。
• MELD データセットでは、F1 スコア 64.18% を達成し、多様な会話的文脈にわたる強い一般化性能を示した。
• AVEC データセットでは、平均絶対誤差（MAE）が 0.157 に達し、以前の最先端手法を上回った。
• アブレーションスタディの結果、順序付きエンコーダおよび発話者レベルのエンコーダの両方を削除すると F1 スコアが 36.75% に低下し、これらが文脈モデリングにおいて極めて重要な役割を果たしていることが確認された。
• 文脈的に適切な場合、短い発話「okay」を「いらだち」に正しく分類できたが、RNN ベースのモデルはこのようなケースで失敗した。
• 誤差解析の結果、誤分類はしばしば意味的に類似した感情（例：「いらだち」対「いかり」、「はつらつ」対「きがおよい」）の間で発生しており、微細な感情的差異を捉える難しさが浮き彫りになった。