[論文レビュー] Modeling Label Semantics for Predicting Emotional Reactions

Radhika Gaonkar, Hee Young Kwon+3 more|arXiv (Cornell University)|Jun 9, 2020

Topic Modeling参考文献 11被引用数 5

ひとこと要約

本稿では、物語における多ラベル感情予測の向上を目的として、学習された埋め込みとラベル相関を用いて感情ラベルの意味的性質をモデル化する手法を提案する。ラベルに依存するアテンション、トレーニング中の相関正則化、およびラベルなしデータを用いた半教師付き学習を統合することで、BERTベースラインに対してF1スコアで4.9ポイントの向上を達成し、ROCStories感情推論ベンチマークで新たなSOTAを樹立した。

ABSTRACT

Predicting how events induce emotions in the characters of a story is typically seen as a standard multi-label classification task, which usually treats labels as anonymous classes to predict. They ignore information that may be conveyed by the emotion labels themselves. We propose that the semantics of emotion labels can guide a model's attention when representing the input story. Further, we observe that the emotions evoked by an event are often related: an event that evokes joy is unlikely to also evoke sadness. In this work, we explicitly model label classes via label embeddings, and add mechanisms that track label-label correlations both during training and inference. We also introduce a new semi-supervision strategy that regularizes for the correlations on unlabeled data. Our empirical evaluations show that modeling label semantics yields consistent benefits, and we advance the state-of-the-art on an emotion inference task.

研究の動機と目的

• 多ラベル感情分類において、感情ラベルを匿名クラスとして扱うという制限を解消すること。
• 感情ラベル間の意味的関係（例：喜びと悲しみはしばしば排他的である）を活用することで、感情予測を向上させること。
• アテンションおよび予測メカニズムにラベル意味的性質を統合することで、モデルの解釈可能性と一貫性を高めること。
• ラベル相関を用いた半教師付き学習により、ラベルなしデータの性能向上を図ること。
• BERTベースモデルにラベル意味的性質を統合することで、物語感情推論分野におけるSOTAを進展させること。

提案手法

• 感情ラベルを、事前学習済み単語埋め込み（例：BERT埋め込み）で初期化された学習可能埋め込みとして表現する。
• ラベル埋め込みとBERTでエンコードされたトークン表現との間のアテンションを計算するためのラベル埋め込みアテンショニングネットワーク（LEAM）を用い、ラベルに依存する文脈表現を生成する。
• トレーニング中に、既知のラベル同時発生パターンと整合しない予測をペナルティ化する相関正則化損失を導入する。
• ラベル相関行列を用いて推論ログィットを修正し、ある感情に対する信頼度が関連する他の感情の予測に影響を与えるようにする。
• ラベル相関パターンを正則化するために、ラベルなしデータを用いた半教師付き戦略を適用し、一般化性能を向上させる。
• 物語文脈とラベル埋め込みを追加トークンとして含めた全入力を用いて、BERTを微調整する。

実験結果

リサーチクエスチョン

• RQ1 感情ラベルの意味的性質をモデル化することで、物語文脈における多ラベル感情予測が向上するか？
• RQ2 ラベル同士の相関が、感情推論におけるモデル性能および予測の一貫性に与える影響は何か？
• RQ3 ラベル相関を、ラベルなしデータに対する半教師付き信号として効果的に活用できるか？
• RQ4 アテンションを介してラベル意味的性質を統合することで、モデルの解釈可能性および人間が期待する感情的関係との整合性が向上するか？
• RQ5 ラベル埋め込みと相関モデリングは、感情推論タスクにおける標準的な多ラベル分類ベースラインをどの程度上回るか？

主な発見

• 提案手法は、BERTベースラインに対して4.9ポイントの絶対的F1スコアの向上を達成し、ROCStories感情推論データセットで65.8の新たなSOTAF1スコアを達成した。
• 埋め込みとアテンションによるラベル意味的性質のモデル化により、より一貫性のある予測が得られ、1インスタンスあたりの感情ラベル数がBERTの5,024対比で8,839に増加した。
• トレーニングおよび推論時にラベル相関正則化を組み込むことで、ラベル意味的性質を有するベースラインからF1スコアが2ポイント向上した。
• ラベル相関を用いた半教師付き学習が最大の向上をもたらし、ランダム化検定による統計的有意性が確認されたすべてのベースラインを顕著に上回った。
• 定性的分析の結果、誤った予測は正しいラベルよりも低い信頼度スコアを示しており、最適なしきい値設定によりさらなる向上が可能であると考えられた。
• 意味的関連する感情ペア（例：喜びと悲しみの同時予測を回避）における予測性能の向上から、モデルがラベル意味的関係をよりよく捉えていることが裏付けられた。