[論文レビュー] Toward Dimensional Emotion Detection from Categorical Emotion Annotations.

Sung‐Joon Park, Jiseon Kim+3 more|arXiv (Cornell University)|Nov 6, 2019

Sentiment Analysis and Opinion Mining参考文献 26被引用数 8

ひとこと要約

本論文では、VAD（価値・覚醒・優位性）空間内での予測分布と順序付けられたカテゴリカル感情分布の間のEarth Mover's Distance（EMD）を最小化することで、粗い粒度のカテゴリカル感情ラベルから細かい粒度の次元的感情（VAD）を予測する統一フレームワークを提案する。モデルは、SemEval（11カテゴリ）のデータでBERT-Largeをファインチューニングし、EmoBankで評価したところ、カテゴリカル感情分類で最先端の性能を達成し、真値のVADスコアと強い相関を示した。また、訓練時に見られなかった感情語への一般化も可能である。

ABSTRACT

We propose a framework which makes a model predict fine-grained dimensional emotions (valence-arousal-dominance, VAD) trained on corpus annotated with coarse-grained categorical emotions. We train a model by minimizing EMD distances between predicted VAD score distribution and extit{sorted} categorical emotion distributions in terms of VAD, as a proxy of target VAD score distributions. With our model, we can simultaneously classify a given sentence to categorical emotions as well as predict VAD scores. We use pre-trained BERT-Large and fine-tune on SemEval dataset (11 categorical emotions) and evaluate on EmoBank (VAD dimensional emotions), in order to show our approach reaches comparable performance to that of the state-of-the-art classifiers in categorical emotion classification task and significant positive correlations with ground truth VAD scores. Also, if one continues training our model with supervision of VAD labels, it outperforms state-of-the-art VAD regression models. We further present examples showing our model can annotate emotional words suitable for a given text even those words are not seen as categorical labels during training.

研究の動機と目的

• 粗い粒度のカテゴリカル感情ラベルと細かい粒度の次元的感情（VAD）予測の間のギャップを埋める。
• VADラベル付きデータをトレーニング時に必要としない、カテゴリカル感情分類と次元的感情回帰の両方を実行できる統一モデルを開発する。
• 学習済みのVAD表現を活用することで、トレーニング時に登場しなかった感情語に対してもゼロショット一般化を可能にする。
• 順序付けられたカテゴリカル分布からのEMDベースのドメイションが、ターゲットVAD分布を効果的に近似できることを示す。

提案手法

• モデルはBERT-Largeをベースエンコーダーとして用い、SemEvalの11カテゴリのカテゴリカル感情ラベルが付与されたコーパスでファインチューニングする。
• 予測されたVAD分布と、順序付けられたカテゴリカル感情分布の間のEarth Mover's Distance（EMD）を最小化することでVADスコアを予測する。
• 順序付けられたカテゴリカル感情分布は、事前に学習済みのVAD埋め込みを用いてVAD空間にマッピングされ、真値のVAD分布の代理として機能する。
• カテゴリカル感情分類とVAD予測の両方をEMD損失を介して共同最適化する。
• 初期の事前学習後、VADラベル付きデータでさらにファインチューニングすることで、既存の最先端の回帰モデルを超える性能を達成できる。
• このフレームワークにより、トレーニングのカテゴリカルラベルに含まれない感情語に対してもゼロショット推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 直接的なVAD監視がなければ、カテゴリカル感情ラベルのみで学習したモデルが正確な次元的感情スコア（VAD）を予測できるか？
• RQ2 順序付けられたカテゴリカル感情分布からのEMDベースのドメイションが、真値のVAD分布をどの程度効果的に近似できるか？
• RQ3 トレーニング時に登場しなかった感情語に対しても、モデルは一般化可能か、特にその言語語に明示的なVADアノテーションがなくてもか？
• RQ4 提案手法は、SOTAモデルと比較してカテゴリカル感情分類とVAD回帰の両方で競争力のある性能を達成できるか？
• RQ5 VADラベル付きデータで継続的なファインチューニングを実施することで、既存のSOTAモデルを超える回帰性能をさらに向上させられるか？

主な発見

• 本モデルは、SemEvalベンチマークにおいてカテゴリカル感情分類で最先端の性能を達成し、既存のSOTA分類器と同等またはそれを上回った。
• EmoBankデータセットにおいて、真値のVADスコアと顕著な正の相関を示しており、信頼性の高い次元的感情予測が可能であることが裏付けられた。
• トレーニングのカテゴリカルラベルに含まれない感情語に対しても一般化可能であり、感情語アノテーションにおけるゼロショット能力を示した。
• VADラベル付きデータでさらにファインチューニングした後、既存の最先端のVAD回帰モデルを上回る性能を示した。
• 順序付けられたカテゴリカル分布からのEMDベースのドメイションが、ターゲットVAD分布を効果的に近似できており、直接的なVAD監視がなくても高品質なVAD予測が可能であることが実証された。