[論文レビュー] Multi-Task Learning with Auxiliary Speaker Identification for Conversational Emotion Recognition

Jingye Li, Meishan Zhang+2 more|arXiv (Cornell University)|Mar 3, 2020

Sentiment Analysis and Opinion Mining参考文献 25被引用数 22

ひとこと要約

本稿では、BERTと階層的Bi-GRUネットワークに加え、注目メカニズムとゲート機構を用いて共有表現を活用することで、話者識別（SI）を補助タスクとして用いるマルチタスク学習フレームワークを提案する。この手法により、会話的感情認識（CER）の性能が向上し、EmoryNLP（F1スコア+1.16%）およびMELD（F1スコア+0.59%）で新たな最先端性能を達成した。

ABSTRACT

Conversational emotion recognition (CER) has attracted increasing interests in the natural language processing (NLP) community. Different from the vanilla emotion recognition, effective speaker-sensitive utterance representation is one major challenge for CER. In this paper, we exploit speaker identification (SI) as an auxiliary task to enhance the utterance representation in conversations. By this method, we can learn better speaker-aware contextual representations from the additional SI corpus. Experiments on two benchmark datasets demonstrate that the proposed architecture is highly effective for CER, obtaining new state-of-the-art results on two datasets.

研究の動機と目的

• 会話的感情認識（CER）を向上させるために、話者に敏感な発話表現を効果的にモデル化すること。
• 話者に敏感な表現を学習する際に、感情ラベル付きデータに依存するという限界を解消すること。
• 話者IDを有する大規模でラベルなし会話コーパスの表現学習への有用性を調査すること。
• 話者識別（SI）を補助タスクとして用いることで、マルチタスク学習によりCER性能が向上するかどうかを検証すること。
• 発話レベルおよび会話レベルの両方で、CERとSIタスクの相互作用を可能にする統合学習フレームワークを設計すること。

提案手法

• CERとSIを共有部とタスク固有部を用いて共同で学習するマルチタスク学習（MTL）フレームワークを採用する。
• 発話表現のためのコンテキストエンコーダーとしてBERTを用い、その後に発話レベルおよび会話レベルで階層的な双方向GRUを適用する。
• 発話レベルおよび会話レベルの両方で、CERとSIの完全な相互作用を実現するための注目ネットワークとゲート機構を導入する。
• SIタスクでは、元の会話から二値分類ペアを構築し、2つの発話が同じ話者から出されたかどうかを予測する。
• 話者に敏感な表現を豊かにするために、大規模でラベルなし会話データを用いてSIの事前学習を実施する。
• 共有エンコーダーとタスク固有ヘッドを統合し、相互注意とゲーティング機構を用いて特徴の交換を促進する。

実験結果

リサーチクエスチョン

• RQ1 話者識別（SI）を補助タスクとして用いることで、会話的感情認識（CER）モデルの性能が向上するか？
• RQ2 SIを用いたマルチタスク学習は、会話における話者に敏感なコンテキスト表現を強化するのにどの程度効果的か？
• RQ3 注目メカニズムとゲート機構によるCERとSIの相互作用は、感情認識性能の向上に寄与するか？
• RQ4 異なる事前学習語彙表現（例：GloVe, ELMo, BERT）を用いた場合、MTLによる性能向上はどのように変化するか？
• RQ5 学習された注目パターンは、意味的に関連する話者関連発話や文脈的関連発話をどの程度反映しているか？

主な発見

• 提案されたMTLフレームワークにSIを補助タスクとして組み込むことで、EmoryNLPおよびMELDの両データセットで新たな最先端性能を達成した。
• EmoryNLPでは、MTLを用いたBERTベースのモデルが35.92%のF1スコアを達成し、ベースライン（34.76%）より1.16%向上した。
• MELDでは、MTLを強化したBERTモデルが61.90%のF1スコアを達成し、ベースライン（61.31%）より0.59%向上した。
• GloVe, ELMo, BERTのすべての設定において、MTLによる向上は統計的に有意であった（p < 0.0001）。
• モデルは話者関連語（例：'Phoebe', 'Rachel'）に注目し、同じ話者または特定の話者からの発話を結びつける能力を学習しており、効果的な話者に敏感な表現学習が行われていることが示された。
• ベースラインモデルが強ければあるほど、MTLによる性能向上が小さくなる傾向にあり、MTLはすでに優れたベースモデルが存在する状況で特に有効であると考えられる。