[論文レビュー] Basic and Depression Specific Emotion Identification in Tweets: Multi-label Classification Experiments

Nawshad Farruque, Chenyang Huang+2 more|arXiv (Cornell University)|May 26, 2021

Text and Document Classification Technologies参考文献 18被引用数 5

ひとこと要約

本稿では、コストセンシティブな RankSVM と注意メカニズムを備えたディープラーニングモデルを用いて、ツイートにおける基本的およびうつ病特有の感情を識別するマルチラベル分類フレームワークを提案する。ディープラーニングモデルが他のモデルを上回り、特にデータの不均衡が顕著な状況下でも優れた性能を示し、単語埋め込みと注意メカニズムを活用することで、うつ病関連の微細な感情状態を効果的に検出できることが示された。

ABSTRACT

In this paper, we present empirical analysis on basic and depression specific multi-emotion mining in Tweets with the help of state of the art multi-label classifiers. We choose our basic emotions from a hybrid emotion model consisting of the common emotions from four highly regarded psychological models of emotions. Moreover, we augment that emotion model with new emotion categories because of their importance in the analysis of depression. Most of those additional emotions have not been used in previous emotion mining research. Our experimental analyses show that a cost sensitive RankSVM algorithm and a Deep Learning model are both robust, measured by both Macro F-measures and Micro F-measures. This suggests that these algorithms are superior in addressing the widely known data imbalance problem in multi-label learning. Moreover, our application of Deep Learning performs the best, giving it an edge in modeling deep semantic features of our extended emotional categories.

研究の動機と目的

• ソーシャルメディアのテキスト、特にツイートに対して、メンタルヘルスのモニタリングを支援する耐障害性の高いマルチラベル感情分類システムの開発を目的とする。
• 伝統的な感情モデルに、過去の研究で不足しがちな「希望の喪失」「孤独感」「自己嫌悪」などのうつ病特有の感情を組み込むことで、その拡張を図ること。
• 現実世界の感情マイニングで一般的に見られる顕著なクラス不均衡を伴うデータセットに対して、最先端のマルチラベル学習アルゴリズムの性能を評価すること。
• 語彙的ニュアンスを捉えるために、bag-of-words（BOW）と単語埋め込み（WE）の特徴表現の比較を行い、感情言語の微妙な違いをどのように捉えられるかを検証すること。
• 頻度の高いラベルとまれなラベルの両方で高い性能を維持しつつ、データ不均衡に強く対処できるモデルを特定すること。

提案手法

• 本研究では、9つの基本的感情（例：喜び、怒り、悲しみ）を含むデータセットと、7つのうつ病特有の感情（例：希望の喪失、孤独感、快感病）を追加した拡張データセットの2つのマルチラベルデータセットを構築した。
• 感情ラベルは、4つの主要な感情理論を統合したハイブリッド心理モデルに基づき、臨床的妥当性を鑑みたうつ病関連感情を追加して得られた。
• 研究では主に2つのモデルを採用した：ラベルパワー集合（LP）とペairワイズプレファレンストレーニング（PPT）を用いたコストセンシティブな RankSVM、および自己注意メカニズムを備えた双方向LSTMに基づくディープラーニングモデル。
• 特徴表現には、bag-of-words（BOW）と単語埋め込み（WE）を用い、後者はテキスト内の意味的関係を捉えるために使用された。
• 性能評価にはマクロF1スコアとミクロF1スコアを用い、データ不均衡が進行する状況でのモデルの頑健性を定量化するための性能低下度を導入した。
• 誤分類のパターンやラベル間の相関関係を評価するため、混同行列を分析した。特に、喜び／愛着や、イライラ／希望の喪失といった共起する感情の間での誤分類が顕著であった。

実験結果

リサーチクエスチョン

• RQ1 最先端のマルチラベル分類モデルは、ツイートにおける基本的およびうつ病特有の感情を識別する際に、どの程度の性能を示すか？
• RQ2 コストセンシティブな RankSVM とディープラーニングモデルは、マルチラベル感情分類におけるデータ不均衡の影響をどの程度軽減できるか？
• RQ3 短いテキストのソーシャルメディアコンテンツにおける感情の微細な違いを捉えるために、単語埋め込みと bag-of-words 特徴表現のどちらが優れているか？
• RQ4 どの感情カテゴリーが最も頻繁に混同され、その背後にある言語的パターンは何か？
• RQ5 ディープラーニングモデルにおける注意メカニズムは、うつ病関連の感情に関連する顕著な言語的特徴を特定するのを支援できるか？

主な発見

• 注意メカニズムを備えたLSTMモデルは、16感情データセットにおいて、マクロF1スコア0.4685、ミクロF1スコア0.4832を達成し、他のすべてのモデルを上回った。
• ディープラーニングモデルは、9感情データセットから16感情データセットに移行した際、マクロF1スコアで15%、ミクロF1スコアで11%の性能低下にとどまり、データ不均衡に対して強い頑健性を示した。
• ラベルパワー集合（LP）を用いた RankSVM は、9感情データセットでマクロF1スコア0.4234、ミクロF1スコア0.4236を達成し、不均衡にもかかわらず優れた性能を示した。
• ナイーブベイズベースラインは、より不均衡な16感情データセットに移行した際、マクロF1スコアで38%、ミクロF1スコアで41%の性能低下を示し、最も大きな低下を記録した。
• 混同行列の分析から、喜び／愛着や、イライラ／希望の喪失といった感情が頻繁に混同され、強い共起パターンがあることが明らかになった。
• 単語埋め込みは、すべてのモデルで性能向上をもたらしたが、特にディープラーニングモデルで最大の向上が観察され、スパースな bag-of-words 表現に比べて優位性が確認された。