[論文レビュー] A Hierarchical Transformer with Speaker Modeling for Emotion Recognition in Conversation

Jiangnan Li, Zheng Lin+3 more|arXiv (Cornell University)|Dec 29, 2020

Sentiment Analysis and Opinion Mining参考文献 22被引用数 10

ひとこと要約

本稿では、会話における感情認識のための階層的トランスフォーマーと発話者モデリング（TRMSM）を提案する。複雑な発話者間相互作用を二値の内発話者および発話者間依存関係に簡略化することで、長距離の文脈的および発話者に配慮した情報を効果的に捉える。従来の、内発話者、発話者間の両方の注意に特化したマスクを別々のトランスフォーマーブロックに適用し、それらの出力を学習可能な注意機構で融合することで、IEMOCAPおよびMELDで最先端の性能を達成した。

ABSTRACT

Emotion Recognition in Conversation (ERC) is a more challenging task than conventional text emotion recognition. It can be regarded as a personalized and interactive emotion recognition task, which is supposed to consider not only the semantic information of text but also the influences from speakers. The current method models speakers' interactions by building a relation between every two speakers. However, this fine-grained but complicated modeling is computationally expensive, hard to extend, and can only consider local context. To address this problem, we simplify the complicated modeling to a binary version: Intra-Speaker and Inter-Speaker dependencies, without identifying every unique speaker for the targeted speaker. To better achieve the simplified interaction modeling of speakers in Transformer, which shows excellent ability to settle long-distance dependency, we design three types of masks and respectively utilize them in three independent Transformer blocks. The designed masks respectively model the conventional context modeling, Intra-Speaker dependency, and Inter-Speaker dependency. Furthermore, different speaker-aware information extracted by Transformer blocks diversely contributes to the prediction, and therefore we utilize the attention mechanism to automatically weight them. Experiments on two ERC datasets indicate that our model is efficacious to achieve better performance.

研究の動機と目的

• 会話におけるペアワイズ発話者相互作用をモデル化する従来手法の計算複雑性およびスケーラビリティの問題に対処すること。
• 細分化された関係から二値の内発話者および発話者間依存関係構造への発話者相互作用モデリングの簡略化により、一般化性および拡張性の向上を図ること。
• カスタムアテンションマスクを統合することで、階層的トランスフォーマーにおける長距離文脈モデリングを可能にすること。
• 感情予測の向上を図るため、発話者に配慮した多様な文脈表現をアテンション機構を用いて自動的に重み付け・統合すること。

提案手法

• モデルは二段階の階層的トランスフォーマーを採用：文脈エンコーディングに文レベルのBERT、文脈モデリングに会話レベルのトランスフォーマー。
• 三種類の異なるマスクを設計：従来の自己注意に用いる通常マスク、同じ発話者に属する発話に注目する内発話者マスク、他の全発話者を一括して注目する発話者間マスク。
• 各マスクを会話レベルの別々で独立したトランスフォーマーブロックに適用し、文脈的依存関係の異なる表現を学習する。
• 三つのブロックから得られる発話者に配慮した表現を、学習可能なアテンション機構を用いて動的に統合し、感情分類に有用な特徴を優先する。
• 追加や連結といった代替統合戦略を評価し、アテンションベース統合の優位性を示す。
• 本モデルは、IEMOCAPおよびMELDの二つの公開ERCデータセット上で、エンド・トゥ・エンドに訓練され、各構成要素の有効性を検証するためのアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズ関係から二値の内発話者および発話者間依存関係構造への発話者相互作用モデリングの簡略化は、ERCにおけるスケーラビリティおよび性能の向上に寄与するか？
• RQ2 階層的トランスフォーマーにおける専用アテンションマスクは、従来の、内発話者および発話者間依存関係を同時に効果的にモデル化できるか？
• RQ3 アテンションベースの統合は、加算や連結といった固定統合手法を上回る性能を示すか？
• RQ4 文脈長が延長される場合、特に局所的文脈に制限されたモデルと比較して、本モデルの性能はどのように変化するか？
• RQ5 内発話者および発話者間依存関係は、多様な会話的文脈において感情予測にどの程度寄与しているか？

主な発見

• 提案されたTRMSMモデルは、IEMOCAPおよびMELDの両データセットで最先端の性能を達成し、DialogueGCNを含む先行手法を上回った。
• アブレーションスタディの結果、通常マスクまたは発話者間マスクを削除すると性能が著しく低下し、三つの構成要素すべての重要性が確認された。
• アテンションベース統合（TRMSM-Att）を用いたモデルは、加算や連結を用いたモデルを常に上回り、学習可能なアテンションの有効性を示した。
• 文脈窓の長さが延びるにつれて性能が向上し、TRMSM-Attは完全な文脈を用いてもDialogueGCNを上回った。これは、優れた長距離モデリング能力を示している。
• ケーススタディの結果、モデルは内発話者依存関係（例：持続的な感情状態）や発話者間依存関係（例：他者からの感情的影響）が予測に最も関連する場面を正しく特定していることが確認された。
• MELDでは、層の数を増やすと、稀な感情クラス（Fear, Disgust）で過学習が生じた。これは、データの不均衡が依然として課題であり、今後の研究が必要であることを示唆している。