[論文レビュー] Real-Time Emotion Recognition via Attention Gated Hierarchical Memory Network

Wenxiang Jiao, Michael R. Lyu+1 more|arXiv (Cornell University)|Nov 20, 2019

Topic Modeling参考文献 21被引用数 13

ひとこと要約

本稿では、会話におけるリアルタイム感情認識のためのアテンションゲート付き階層的メモリネットワーク（AGHMN）を提案する。双方向GRUに基づく階層的メモリネットワーク（HMN）を用いて発話内および発話間の文脈を捉え、メモリ要約の過程で順序を保持するためのアテンションGRU（AGRU）を導入している。本モデルは、2つのベンチマークデータセットにおいて最先端の性能を達成し、先行手法と顕著な差を示している。

ABSTRACT

Real-time emotion recognition (RTER) in conversations is significant for developing emotionally intelligent chatting machines. Without the future context in RTER, it becomes critical to build the memory bank carefully for capturing historical context and summarize the memories appropriately to retrieve relevant information. We propose an Attention Gated Hierarchical Memory Network (AGHMN) to address the problems of prior work: (1) Commonly used convolutional neural networks (CNNs) for utterance feature extraction are less compatible in the memory modules; (2) Unidirectional gated recurrent units (GRUs) only allow each historical utterance to have context before it, preventing information propagation in the opposite direction; (3) The Soft Attention for summarizing loses the positional and ordering information of memories, regardless of how the memory bank is built. Particularly, we propose a Hierarchical Memory Network (HMN) with a bidirectional GRU (BiGRU) as the utterance reader and a BiGRU fusion layer for the interaction between historical utterances. For memory summarizing, we propose an Attention GRU (AGRU) where we utilize the attention weights to update the internal state of GRU. We further promote the AGRU to a bidirectional variant (BiAGRU) to balance the contextual information from recent memories and that from distant memories. We conduct experiments on two emotion conversation datasets with extensive analysis, demonstrating the efficacy of our AGHMN models.

研究の動機と目的

• 従来のリアルタイム感情認識モデルが単方向RNNとソフトアテンションを用いることで、双方向の文脈を捉えられず、メモリ要約の過程で順序情報が失われるという限界を解消すること。
• 階層的メモリアーキテクチャにおいて、畳み込みニューラルネットワーク（CNN）の代わりに双方向GRU（BiGRU）を用いることで、発話レベルの特徴表現を改善すること。
• 歴史的発話の順序と位置情報を保持するメモリ要約メカニズムを設計し、ソフトアテンションの「メモリの袋（bag-of-memories）」問題を克服すること。
• 実世界の感情会話データセットを用いたアブレーションおよび可視化研究を通じて、提案されたAGHMNモデルの有効性を評価すること。

提案手法

• 発話内の語の系列をモデル化するための双方向GRU（BiGRU）を発話リーダーとして用いた階層的メモリネットワーク（HMN）を提案し、CNNよりも優れた特徴抽出を実現する。
• 履歴発話間の相互作用をモデル化するためのBiGRU融合層を導入し、双方向の文脈フローを可能にし、より豊かなメモリ表現を実現する。
• クエリからメモリへのアテンション重みを用いてGRUの内部状態を更新するアテンションGRU（AGRU）を設計し、メモリ要約の過程で順序情報を保持する。
• 最近縁と遠い記憶からの文脈情報をバランスよく得るために、AGRUの双方向バージョン（BiAGRU）を拡張する。
• サイズKの動的メモリバンクを構築するためのコンテキストウィンドウ機構を採用し、各データセット上で経験的に最適なK値を特定する。
• 2段階のメモリ階層を採用：語から発話への（BiGRUを介して）、および発話から会話への（BiGRU融合を介して）階層的メモリバンクを形成する。

実験結果

リサーチクエスチョン

• RQ1 双方向GRUに基づく発話リーダーは、感情認識のための発話レベル特徴を学習する際に、畳み込みニューラルネットワーク（CNN）を上回る性能を示すか？
• RQ2 双方向融合層は、単方向RNNと比較して発話間関係のモデリングをどのように改善するか？
• RQ3 アテンションゲート付きGRU（AGRU）は、ソフトアテンションと比較して、メモリ要約の過程で順序および位置情報をよりよく保持できるか？
• RQ4 AGRUの双方向バージョン（BiAGRU）は、単方向AGRUと比較して、より良い文脈的バランスを提供するか？
• RQ5 コンテキストウィンドウサイズKはモデル性能にどのように影響するか？また、異なる会話ダイナミクスに対して最適なウィンドウサイズは何か？

主な発見

• 提案されたAGHMNモデルは、IEMOCAPおよびMELDの両データセットで最先端の性能を達成し、既存手法と顕著な差を示している。
• BiGRUベースの発話リーダーは、CNNベースのリーダーと比較して一貫して優れた性能を示し、階層的メモリ構造との相性が良いことが示された。
• BiF-AGRUモデルが最良の性能を達成し、IEMOCAPではK=40、MELDではK=5の最適コンテキストウィンドウサイズを示しており、平均会話長と整合的である。
• アブレーションスタディにより、BiGRU融合層およびAGRUメカニズムの両方が性能向上に寄与していることが確認され、AGRUは単方向メモリバンクでもソフトアテンションを上回った。
• 可視化結果から、BiAGRUはソフトアテンションや単方向AGRUと比較して、複雑な感情的ダイナミクスにおいてより包括的な文脈的手がかりを捉えていることが示された。
• モデルは感情の変化に対しても頑健であるが、MELDにおける「嫌悪」クラスのようなマイノリティクラスでは性能が限定的であり、より多くのデータやマルチモodal特徴の導入により改善の余地があると考えられる。