[論文レビュー] EmotionX-KU: BERT-Max based Contextual Emotion Classifier

Kisu Yang, Dongyub Lee+3 more|arXiv (Cornell University)|Jun 27, 2019

Sentiment Analysis and Opinion Mining参考文献 21被引用数 24

ひとこと要約

本論文では、転移学習と動的マックスプーリングを活用して会話内の感情検出を向上させる、BERT-Maxに基づく文脈的で感情分類可能なモデルEmotionX-KUを提案する。微調整および重み付き交差エントロピー損失を組み合わせることで、EmotionXベンチマークにおいて最先端の性能を達成し、FriendsおよびEmotionPushデータセットの両方で、最高で86.3%のマイクロ-F1スコアを記録した。

ABSTRACT

We propose a contextual emotion classifier based on a transferable language model and dynamic max pooling, which predicts the emotion of each utterance in a dialogue. A representative emotion analysis task, EmotionX, requires to consider contextual information from colloquial dialogues and to deal with a class imbalance problem. To alleviate these problems, our model leverages the self-attention based transferable language model and the weighted cross entropy loss. Furthermore, we apply post-training and fine-tuning mechanisms to enhance the domain adaptability of our model and utilize several machine learning techniques to improve its performance. We conduct experiments on two emotion-labeled datasets named Friends and EmotionPush. As a result, our model outperforms the previous state-of-the-art model and also shows competitive performance in the EmotionX 2019 challenge. The code will be available in the Github page.

研究の動機と目的

• 会話の文脈に依存する意味を有する非公式で複数ターンの会話において、文脈的で感情分類を行う課題に対処すること。
• 特に「喜び」や「悲しみ」のようなレアな感情に対して、感情ラベル付き会話データセットにおけるクラス不均衡を軽減すること。
• 会話特化のコーパスでの事後学習とターゲットデータセットでの微調整により、感情分類器のドメイン適合性を向上させること。
• 文脈表現学習と効果的なシーケンスモデリング技術の統合により、EmotionX共有タスクにおける性能を向上させること。

提案手法

• 文脈的な発話表現を符号化するために、12層、768次元の隠れ層、12個のアテンションヘッドを備えた事前学習済みの小文字対応BERT-Baseエンコーダーを採用する。
• 可変長の会話に対しても効果的にモデル化できるように、シーケンス表現に動的マックスプーリングを適用し、固定サイズの文脈に依存する発話埋め込みを生成する。
• 次文予測（NSP）およびマスク言語モデリング（MLM）タスクを用いて、ドメイン特化の会話コーパス（Friends、EmotionPush、Emory）で事後学習を実施する。
• クラス不均衡に対処するため、特に代表が不足している感情に対して重み付き交差エントロピー損失を用いて微調整を実施する。
• 一般化性能とロバストネスを向上させるために、推論段階で5分割交差検証を用いたアンサンブル戦略を適用する。
• 入力シーケンスを最大512トークンに切り詰め、Adam最適化アルゴリズムとスケジュール化された学習率を用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 BERTのような転送可能な言語モデルは、感情分類の文脈的依存関係を、複数ターンの会話において効果的に捉えることができるか？
• RQ2 動的マックスプーリングは、感情予測に文脈的に関連する特徴を保持する点で、平均プーリングと比べてどのように優れているか？
• RQ3 会話特化のコーパスでの事後学習は、リソースが限られた感情クラスにおける性能をどの程度向上させるか？
• RQ4 重み付き交差エントロピー損失の統合は、不均衡な感情データセットにおける性能を顕著に向上させるか？
• RQ5 5分割交差検証を用いた複数のフォールドにおけるアンサンブル学習は、EmotionXベンチマークにおけるモデルの一般化性能とロバストネスをさらに向上させるか？

主な発見

• EmotionX-KUモデルは、FriendsおよびEmotionPushデータセットを併用して学習した場合、EmotionPushデータセットで86.3%のマイクロ-F1スコアを達成し、以前の最先端モデルを上回った。
• Friendsデータセットでは、両データセットを併用して学習した場合、77.5%のマイクロ-F1スコアを記録し、ドメイン間での一般化性能が優れていることを示した。
• 「喜び」と「悲しみ」のようなレアな感情に対するモデルの性能は、事後学習と重み付き損失のおかげで顕著に向上し、EmotionPushではそれぞれ61.0%および74.7%のF1スコアを達成した。
• 動的マックスプーリングは、特にEmotionPushデータセットにおいて、平均プーリングよりも一貫して優れた性能を示し、マイクロ-F1スコアが0.6%高い結果となった。
• 5分割交差検証を用いたアンサンブルモデルは、最高の性能を達成しており、モデル平均化がロバストネスと一般化性能を向上させることを示している。
• ドメイン特化の会話データでの事後学習は、両データセットでマイクロ-F1スコアが1.5–2.5%向上し、ドメイン適合性向上の有効性を裏付けた。