[論文レビュー] PT-CoDE: Pre-trained Context-Dependent Encoder for Utterance-level Emotion Recognition

Wenxiang Jiao, Michael R. Lyu+1 more|arXiv (Cornell University)|Oct 20, 2019

Topic Modeling参考文献 28被引用数 8

ひとこと要約

本稿では、会話の文脈に依存する埋め込みを学習するための事前学習モデルPT-CoDEを提案する。PT-CoDEは、発話エンコーダーと会話エンコーダーからなる階層的アーキテクチャを採用しており、映画の字幕データを用いた「会話完了」（CoCo）という新たな事前学習タスクを導入することで、教師なし事前学習により、5つのULRデータセットにおいて顕著な性能向上を達成する。

ABSTRACT

Utterance-level emotion recognition (ULER) is a significant research topic for understanding human behaviors and developing empathetic chatting machines in the artificial intelligence area. Unlike traditional text classification problem, this task is supported by a limited number of datasets, among which most contain inadequate conversations or speeches. Such a data scarcity issue limits the possibility of training larger and more powerful models for this task. Witnessing the success of transfer learning in natural language process (NLP), we propose to pre-train a context-dependent encoder (CoDE) for ULER by learning from unlabeled conversation data. Essentially, CoDE is a hierarchical architecture that contains an utterance encoder and a conversation encoder, making it different from those works that aim to pre-train a universal sentence encoder. Also, we propose a new pre-training task named "conversation completion" (CoCo), which attempts to select the correct answer from candidate answers to fill a masked utterance in a question conversation. The CoCo task is carried out on pure movie subtitles so that our CoDE can be pre-trained in an unsupervised fashion. Finally, the pre-trained CoDE (PT-CoDE) is fine-tuned for ULER and boosts the model performance significantly on five datasets.

研究の動機と目的

• 発話レベルの感情認識（ULER）におけるラベル付きデータの限界を解消し、文脈依存モデルの学習を促進すること。
• 普遍的文書埋め込みモデルとは異なり、発話レベルおよび会話レベルの文脈を捉える階層的エンコーダー構造を構築すること。
• 大規模な映画の字幕データを用いて、新たなタスク「会話完了」を活用した教師なし事前学習を可能にすること。
• 微調整を用いたトランスファーラーニングにより、リソースが限られたULRデータセットにおけるモデルの汎化性能と性能を向上させること。

提案手法

• 発話レベルの文脈独立埋め込みを学習する発話エンコーダーと、文脈に配慮した表現を学習する会話エンコーダーからなる2段階の階層的エンコーダーを提案する。
• 会話内にマスクされた発話を、候補となる応答から予測する「会話完了」（CoCo）という事前学習タスクを導入する。
• 人為的なラベルなしに、純粋な映画の字幕データを用いて、自然な会話構造を活用した自己教師付き学習を実施する。
• 5つのULRデータセットで事前学習済みモデル（PT-CoDE）を微調整し、感情分類タスクに適応させる。
• CoCoタスクでは、正解応答が元の応答とノイズを含む複数の候補から選ばれる対照学習の設定を採用する。
• 発話エンコーダーおよび会話エンコーダーの両方で、長距離依存性を捉えるために双方向トランスフォーマーに基づくアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベルなし会話データで事前学習された文脈依存エンコーダーは、リソースが限られた発話レベルの感情認識タスクにおいて性能を向上させることができるか？
• RQ2 提案された「会話完了」（CoCo）タスクは、ULRの意味的文脈表現を学習するためにどれほど効果的か？
• RQ3 発話エンコーダーと会話エンコーダーを別々に事前学習することは、ランダム初期化からの学習よりも優れた性能をもたらすか？
• RQ4 PT-CoDEは、クラス不均衡の影響を軽減し、ULRにおけるマイナーな感情クラス（例：Sad, Joy）の検出をどれほど改善できるか？
• RQ5 モデルのスケーリングが、リソースが限られたULRデータセットにおける事前学習の性能向上に与える影響はどの程度か？

主な発見

• PT-CoDEは5つのULRデータセットすべてにおいて顕著な性能向上を達成し、ベースモデルであるCoDEを上回る。
• IEMOCAPデータセットでは、F1スコアが81.5±0.4を達成し、ベースモデルのCoDE（78.6±1.3）と比較して2.9%の絶対的向上を示した。
• Friendsデータセットでは、F1スコアが65.9±0.7を達成し、CoDE（62.4±0.4）と比較して3.5%の絶対的向上を示した。
• 発話エンコーダーのみを事前学習した場合（CoDE+PT-U）も、IEMOCAPではF1が1.5%向上、Friendsでは2.4%向上し、事前学習済み発話特徴の有効性を示した。
• 単語埋め込み層を再学習した場合（PT-CoDE+RT-W）は、Friendsデータセットで1.4%の性能低下を示し、学習済み表現の破壊が生じる可能性があることを示唆した。
• 定性的な分析から、PT-CoDEは、句読点が少なく、曖昧な発話においても、Sad や Joy といったマイナーな感情クラスをCoDEよりもよく識別していることがわかった。