[論文レビュー] Frustratingly Easy Sentiment Analysis of Text Streams: Generating High-Quality Emotion Arcs Using Emotion Lexicons

Daniela Teodorescu, Saif M. Mohammad|arXiv (Cornell University)|Oct 13, 2022

Sentiment Analysis and Opinion Mining被引用数 6

ひとこと要約

本稿では、感情辞書を用いてテキストストリームから高品質な感情弧を生成する、単純ながらも非常に効果的な手法を紹介する。実際の個々のインスタンスレベルでの感情検出性能が低いにもかかわらず、数百分のインスタンス程度のビンサイズで、ゴールスタンダードの感情弧とほぼ完全な相関を達成している。このアプローチは、解釈可能性、コスト、環境影響の面で、複雑な機械学習モデルを上回りながら、多様なデータセットおよび感情次元においても強力な性能を維持している。

ABSTRACT

Automatically generated emotion arcs -- that capture how an individual or a population feels over time -- are widely used in industry and research. However, there is little work on evaluating the generated arcs. This is in part due to the difficulty of establishing the true (gold) emotion arc. Our work, for the first time, systematically and quantitatively evaluates automatically generated emotion arcs. We also compare two common ways of generating emotion arcs: Machine-Learning (ML) models and Lexicon-Only (LexO) methods. Using a number of diverse datasets, we systematically study the relationship between the quality of an emotion lexicon and the quality of the emotion arc that can be generated with it. We also study the relationship between the quality of an instance-level emotion detection system (say from an ML model) and the quality of emotion arcs that can be generated with it. We show that despite being markedly poor at instance level, LexO methods are highly accurate at generating emotion arcs by aggregating information from hundreds of instances. This has wide-spread implications for commercial development, as well as research in psychology, public health, digital humanities, etc. that values simple interpretable methods and disprefers the need for domain-specific training data, programming expertise, and high-carbon-footprint models.

研究の動機と目的

• 自動生成された感情弧の系統的かつ定量的評価を実施する。これは、ゴールスタンダードのベンチマークが不足していたため、これまでにあまり検討されていなかったタスクである。
• テキストストリームからの感情弧生成において、機械学習（ML）手法と辞書オンリー（LexO）手法の性能を比較する。
• 感情辞書の品質と、それによって得られる感情弧の正確性との関係を調査する。
• 個々のインスタンスレベルでの感情検出精度が、スケールとしての感情弧の品質にどのように反映されるかを評価する。
• 感情弧の忠実度を最大化するための最適な集約戦略（ビンサイズ）および辞書使用パターンを同定する。

提案手法

• 本研究では、時間的順序で整列されたテキストインスタンスと、事前に定義された感情次元（例：価値、怒り、不安）を有する多様なデータセットを用いる。
• 辞書オンリー（LexO）手法では、語句に感情辞書を用いてラベル付けを行い、時間ステップレベルの感情スコアを、各ビンごとの感情的言及語の平均値または割合として計算する。
• 機械学習（ML）手法では、教師ありモデルが文全体をラベル付けし、時間ステップごとのスコアを、感情ラベルが付与された文の平均値または割合として計算する。
• 感情弧は、固定サイズのビン（例：200語、100文、または日次・月次時間窓）にスコアを集約することで生成され、分解能への影響を評価するためビンサイズを変化させる。
• オラクルシステムを用いて、個々のインスタンスレベルでの正確性をさまざまなレベルにシミュレートし、ラベル付け品質が弧の性能に与える影響を分離する。
• すべての実験において、生成された感情弧とゴールスタンダードの弧（人間によるアノテーションデータから得たもの）との相関を主評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットおよび感情次元において、MLおよびLexO手法の感情弧生成の正確性はどの程度か？
• RQ2 MLモデルの性能向上は、アクセシビリティ、解釈可能性、財務的負担、炭素排出量という観点から、それらの高いコストを補って十分に価値があると評価できるか？
• RQ3 感情弧の高品質な生成を実現するための、粒度、OOV（未知語）対処、しきい値設定といった観点から、感情辞書の最適な使用法は何か？
• RQ4 ビンサイズ（1時間ステップあたりのインスタンス数）が感情弧の品質にどのように影響するか？
• RQ5 既存の感情辞書は感情弧の生成においてどの程度の性能を示すのか？また、特定の感情は他の感情よりも正確に追跡しづらいのか？

主な発見

• 個々のインスタンスレベルでの感情検出性能が低いにもかかわらず、ビンサイズが200～300インスタンスに達すると、辞書オンリー（LexO）手法がゴールスタンダードの感情弧とほぼ完全な相関（r ≈ 1.0）を達成する。
• たとえ個々のインスタンスレベルでの正確性が60％にとどまっても、オラクルシステムはビンサイズ200～300で高い相関（r ≈ 1.0）を達成しており、集約がラベルノイズを顕著に軽減していることが示唆される。
• 最先端の深層ニューラルネットワークおよびトランスフォーマー基盤のモデルは、ビンサイズ200～300でほぼ完全な相関（r ≈ 1.0）を達成するが、膨大な計算リソースと環境的影響を伴う。
• 感情弧の性能は、複数のデータセットおよび感情次元（例：価値、怒り、不安）に対して強く、中程度のビンサイズで一貫した高い相関を示す。
• 本研究では、単純で解釈可能で、低コストかつ低炭素排出の辞書ベース手法により、高品質な感情弧を生成できることを示しており、心理学、デジタル・ヒューマニティーズ、公衆衛生分野の研究者にとって理想的な選択肢である。
• 感情弧の品質は集約によって顕著に向上し、数百分のインスタンスを超えるとほとんど利益が得られなくなるため、細かいビンサイズ化にはほとんど利点がないことが示唆される。