[論文レビュー] Topic-Driven and Knowledge-Aware Transformer for Dialogue Emotion Detection

Lixing Zhu, Gabriele Pergola+3 more|arXiv (Cornell University)|Jun 2, 2021

Sentiment Analysis and Opinion Mining参考文献 39被引用数 11

ひとこと要約

本稿では、トピック駆動型で知識に配慮したトランスフォーマー・モデルTodKatを提案する。このモデルは、ポインタネットと加法的アテンションを介して、AtomicとConceptNetからの微調整済みトピック表現および一般常識知識を統合し、会話感情検出を実行する。トピック的文脈と感情的知識を統合的にモデル化することで、4つのベンチマークデータセットで最先端の性能を達成し、トピックに配慮したアテンションと知識統合により、感情分類の性能が顕著に向上する。

ABSTRACT

Emotion detection in dialogues is challenging as it often requires the identification of thematic topics underlying a conversation, the relevant commonsense knowledge, and the intricate transition patterns between the affective states. In this paper, we propose a Topic-Driven Knowledge-Aware Transformer to handle the challenges above. We firstly design a topic-augmented language model (LM) with an additional layer specialized for topic detection. The topic-augmented LM is then combined with commonsense statements derived from a knowledge base based on the dialogue contextual information. Finally, a transformer-based encoder-decoder architecture fuses the topical and commonsense information, and performs the emotion label sequence prediction. The model has been experimented on four datasets in dialogue emotion detection, demonstrating its superiority empirically over the existing state-of-the-art approaches. Quantitative and qualitative results show that the model can discover topics which help in distinguishing emotion categories.

研究の動機と目的

• 会話のトピックに強く依存し、暗黙の一般常識知識を必要とする会話における感情検出の課題に対処すること。
• 既存のモデルが会話全体の特性、例えばトピックのテーマや感情的文脈を十分にモデル化できないという限界を克服すること。
• AtomicやConceptNetなどの知識ベースから得られる微調整済みトピック表現と構造化された一般常識知識を統合することで、感情検出を改善すること。
• 文脈的およびトピック的ヒントに基づいて感情ラベルの系列を予測する、トランスフォーマー・エンコーダ・デコーダアーキテクチャを用いたシーケンス・ツー・シーケンスフレームワークの開発。

提案手法

• 会話データセット上で微調整されたトピック拡張言語モデルを用いて、低リソース環境下での表現を強化するための潜在的トピックを抽出する。
• イベントベースの関係（例：sE, oE）を用いてAtomic知識ベースから一般常識知識を取得し、ConceptNetからも取得する。関連性はポインタネットでフィルタリングする。
• 文脈的およびトピックに配慮したクエリベクトルに基づき、最も顕著な知識フレーズを選択するための加法的アテンション機構を採用する。
• トランスフォーマーに基づくエンコーダ・デコーダアーキテクチャを用いて、発話間の依存関係をモデル化し、エンド・ツー・エンドのシーケンス・ツー・シーケンス感情ラベル予測を実行する。
• トピック駆動型アテンションを適用し、関連する知識とトピックに動的に注目することで、曖昧な発話の区別を向上させる。
• ゲーティング機構を用いて複数の知識ソースを統合し、トピックと一般常識信号の選択的統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 テーマ的文脈に依存する会話における感情検出において、トピックに配慮した表現学習が性能を向上させることができるか？
• RQ2 AtomicおよびConceptNetからの細分化された一般常識知識を統合することで、感情分類の性能にどのような影響を与えるか？
• RQ3 トピック駆動型アテンションは、曖昧な感情表現を区別する能力をどの程度向上させるか？
• RQ4 sWantやoEffectなどの多様な一般常識関係タイプの組み込みは、異なる会話データセット全体で一貫してモデル性能を向上させるか？
• RQ5 提案されたトランスフォーマー基盤のSeq2Seqフレームワークは、再帰型モデルと比較して、長距離の感情的依存関係をどの程度うまく捉えられるか？

主な発見

• TodKatは、DailyDialog、MELD、IEMOCAP、EmoryNLPの4つのベンチマークデータセットで最先端の性能を達成し、マイクロF1スコアで顕著な向上を示した。
• IEMOCAPでは'sE'および'oE'関係タイプを統合することで、感情検出性能が0.5%向上した。これは、このデータセットに高いイベント密度があるためと考えられる。
• Atomicの9つの関係タイプをすべて追加すると、大多数のデータセットで性能が低下した。これは、すべての知識タイプが有益であるとは限らず、一部はノイズを引き起こす可能性があることを示唆している。
• トピック駆動型アテンションは関連する知識を効果的に同定し、誤分類を低減した。例として、'Oh my God, you’re a freak.'という発話に対して、'mad'ではなく'joyful'を正しく予測した。
• MELDでは発見されたトピックと感情ラベルの相関が最も高く（0.6429）、このデータセットでは強いトピック-感情の整合性があることが示された。
• 定性的分析により、モデルが解釈可能なトピックを学習しており、例えば'food and restaurant'がポジティブな感情と関連しているなど、感情カテゴリの区別に役立っていることが確認された。