[論文レビュー] DENS: A Dataset for Multi-class Emotion Analysis

Chen Liu, Muhammad Osama+1 more|arXiv (Cornell University)|Oct 25, 2019

Sentiment Analysis and Opinion Mining参考文献 19被引用数 4

ひとこと要約

本稿では、クラシック文学および現代のオンライン物語から抽出した長文物語文のデータセットDENSを紹介する。このデータセットは、Amazon Mechanical Turkを用いて9つの感情クラス（喜び、悲しみ、怒り、恐怖、予期、驚き、愛、嫌悪、ニュートラル）に注釈が付けられている。研究では複数のモデルをベンチマーク化した結果、事前学習済みBERTモデルの微調整が最高の性能を示し、マイクロF1スコア60.4%を達成した。これは、文単位や二値感情分類にとどまらない、多クラス感情分析の分野における進展を促進するデータセットの価値を示している。

ABSTRACT

We introduce a new dataset for multi-class emotion analysis from long-form narratives in English. The Dataset for Emotions of Narrative Sequences (DENS) was collected from both classic literature available on Project Gutenberg and modern online narratives available on Wattpad, annotated using Amazon Mechanical Turk. A number of statistics and baseline benchmarks are provided for the dataset. Of the tested techniques, we find that the fine-tuning of a pre-trained BERT model achieves the best results, with an average micro-F1 score of 60.4%. Our results show that the dataset provides a novel opportunity in emotion analysis that requires moving beyond existing sentence-level techniques.

研究の動機と目的

• 英語の長文物語における大規模かつ多クラスの感情データセットが不足しているという問題に対処すること。
• 二値感情分類や短文感情分類にとどまらない、複雑な感情の変遷を捉えるベンチマークデータセットを提供すること。
• 感情が重層的かつ文脈依存的である物語的文脈における感情分析の研究を可能にすること。
• 一貫した長文において感情的コンテンツを理解できるモデルの開発を支援すること。

提案手法

• データセットは、Project GutenbergおよびWattpadから選択された、40～200トークン程度の物語文から構築された。感情に富んだ内容に焦点を当てた。
• 感情注釈は、プラチキのホイールを改変したものに基づく。信頼（Trust）を愛（Love）に置き換え、ニュートラルを追加することで、合計9つの感情カテゴリを定義した。
• Amazon Mechanical Turkのクラウドワーカーが各文書に対して支配的とされる感情をラベル付けした。ラベルの一致度が高く（Fleissのκ > 0.4）、かつ多数決に達した場合にのみデータに含めた。
• アノテーター間の合意が低かった文書は、内部の専門家アノテーターが解決し、ラベルの品質を保証した。
• TF-IDFとSVM、レキソンベースの手法、Doc2Vec、RNN、自己注意機構、ELMo、および微調整済みBERTを含む多様なモデルを評価した。
• 最先端のベースラインとして、小文字のBERT-Largeモデルの微調整を用い、交差検証によるマイクロF1スコアを報告した。

実験結果

リサーチクエスチョン

• RQ1 短い孤立したテキストではなく、長文物語文において多クラス感情分類を効果的に行うことは可能か？
• RQ2 BERTのような事前学習言語モデルは、従来のbag-of-wordsやレキソンベースの手法と比較して、物語感情分類においてどのように性能を発揮するか？
• RQ3 自己注意機構や文脈的埋め込みは、物語的文脈における感情分類性能をどの程度向上させるか？
• RQ4 物語的文脈や文書長さは、感情注釈の整合性およびモデル性能にどのような影響を及えるか？

主な発見

• 事前学習済みBERTモデルの微調整が、DENSデータセットで最高の性能を示し、平均マイクロF1スコア60.4%を達成した。
• bag-of-wordsおよびレキソンベースのモデル（例：TF-IDF + SVM、NRC + SVM）は性能が低く、マイクロF1スコアが0.46未満にとどまった。
• ニューラルシーケンスモデル（例：自己注意機構を備えたBiRNN、ELMoベースのモデル）は中程度の改善を示し、マイクロF1スコアは0.487～0.516の範囲に収まった。
• 文脈的埋め込み（ELMoおよびBERT）は、静的単語埋め込みやレキソンベースのアプローチを著しく上回った。
• このデータセットは、物語の感情がしばしば複雑で文脈依存的であることを示しており、長距離依存関係や意味の微細な違いを捉えるモデルの必要性を示している。
• 結果から、現在のモデルは未反映感情に対して依然として苦戦していることが明らかであり、今後の研究では少サンプル学習や知識統合の手法の開発が求められる。