[論文レビュー] PolyHope: Two-Level Hope Speech Detection from Tweets

Fazlourrahman Balouchzahi, Grigori Sidorov+1 more|arXiv (Cornell University)|Oct 25, 2022

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、英語のツイートを対象とした、2段階の希望スピーチ検出データセットであるPolyHopeを紹介する。このデータセットは、ツイートを「希望」対「希望でない」に分類し、さらに「一般化された」、「現実的」、「非現実的」の3つのサブカテゴリに細分化する。2022年初期の多様なツイートを対象に、厳密なアノテーションガイドラインを用いて作成された。研究者らは複数のモデルをベンチマーク化し、トランスフォーマー基盤のモデル（例：BERT-base-uncased）が、バイナリ分類でF1スコア0.85、マルチクラス分類で0.72を達成し、従来の機械学習およびディープラーニングのベースラインを上回ることを確認した。

ABSTRACT

Hope is characterized as openness of spirit toward the future, a desire, expectation, and wish for something to happen or to be true that remarkably affects human's state of mind, emotions, behaviors, and decisions. Hope is usually associated with concepts of desired expectations and possibility/probability concerning the future. Despite its importance, hope has rarely been studied as a social media analysis task. This paper presents a hope speech dataset that classifies each tweet first into "Hope" and "Not Hope", then into three fine-grained hope categories: "Generalized Hope", "Realistic Hope", and "Unrealistic Hope" (along with "Not Hope"). English tweets in the first half of 2022 were collected to build this dataset. Furthermore, we describe our annotation process and guidelines in detail and discuss the challenges of classifying hope and the limitations of the existing hope speech detection corpora. In addition, we reported several baselines based on different learning approaches, such as traditional machine learning, deep learning, and transformers, to benchmark our dataset. We evaluated our baselines using weighted-averaged and macro-averaged F1-scores. Observations show that a strict process for annotator selection and detailed annotation guidelines enhanced the dataset's quality. This strict annotation process resulted in promising performance for simple machine learning classifiers with only bi-grams; however, binary and multiclass hope speech detection results reveal that contextual embedding models have higher performance in this dataset.

研究の動機と目的

• 自然言語処理分野における多クラス希望スピーチ検出データセットの不足を解消し、ソーシャルメディアにおける希望のタイプを細分化して分類すること。
• 心理的知見に基づいた詳細なガイドラインと専門家アノテーターを活用した厳密なプロセスにより、希望スピーチのアノテーション品質と信頼性を向上させること。
• 研究者がオンラインディコースにおける希望という心理的・言語的現象を探索できるよう、ベンチマークデータセットを提供すること。
• 従来の機械学習、ディープラーニング、トランスフォーマー基盤のアプローチを含む多様な機械学習モデルの性能を、この新規データセット上で評価すること。
• 今後の研究を可能にするために、ソーシャルメディア上での希望関連言語を用いた、メンタルヘルス、パブリックセンチメント分析、人間行動モデリング分野における応用を促進すること。

提案手法

• 2022年上半期に、希望、望み、期待に関連するキーワードを用いて収集された10万件を超える英語ツイートから、データセットを構築した。
• 2段階のアノテーションプロセスを適用した：まず「希望」対「希望でない」に分類し、次に「希望」と分類されたツイートを「一般化された」、「現実的」、「非現実的」の3つにさらに分類した。
• 厳密なアノテーター選抜プロセスを実施し、訓練を受けたアノテーターが心理的知見に基づいた詳細なガイドラインに従ってアノテーションを実施。これにより、相互アノテーション一致度（IAA）がバイナリ分類で0.85、マルチクラス分類で0.82を達成した。
• 最終的なデータセットは8,256件のツイートを含み、うち4,175件が「希望」とラベル付けされ、4,081件が「希望でない」とラベル付けされた。希望ツイートは3つのサブカテゴリに分けられた。
• TF-IDFにn-gramを組み合わせたモデル、GloVe/FastText埋め込みを用いたCNNおよびBiLSTMモデル、BERT-base-uncasedなどのトランスフォーマー基盤モデルを含む複数のベースラインモデルを訓練・評価した。
• モデル評価には重み付きおよびマクロ平均F1スコアを用い、誤分類例の分析には単語数、文字数、ストップワード頻度、NERタグを用いた。

Figure 1: Workflow of annotation procedure

実験結果

リサーチクエスチョン

• RQ1 異なる機械学習モデルの性能は、この新規の2段階希望スピーチ検出タスクにおいてどのように比較されるか？
• RQ2 詳細なガイドラインを用いた厳密なアノテーションプロセスは、希望スピーチデータセットの品質と信頼性をどの程度向上させるか？
• RQ3 従来の機械学習モデルは、ソーシャルメディアのテキストにおいて、細分化された希望のタイプ（例：現実的対非現実的）を効果的に区別できるか？
• RQ4 特定のツイートが複数のモデルで一貫して誤分類される理由は何か？ それらのツイートは共通する言語的・構造的特徴を持つのか？
• RQ5 文脈的埋め込み（例：BERT）を含めることで、非文脈的埋め込みやn-gram特徴に比べ、マルチクラス希望検出の性能はどの程度向上するか？

主な発見

• PolyHopeデータセットは高い相互アノテーション一致度を達成し、バイナリ分類でF1スコア0.85、マルチクラス分類で0.82を記録し、優れたアノテーション品質を示した。
• バイナリ希望検出においては、bi-gramのみを用いた従来の機械学習モデルが強力な性能を示し、粗い分類においては単純な特徴量でも効果的である可能性を示唆した。
• 文脈的埋め込み（例：BiLSTM、CNN）を用いたニューラルネットワークモデルは、マルチクラス希望検出において従来モデルを上回った。これは意味的文脈の重要性を示している。
• BERT-base-uncasedトランスフォーマー・モデルが最も高い性能を示し、バイナリ分類でマクロ平均F1スコア0.85、マルチクラス分類で0.72を達成した。
• 約20％のツイート（±5％）が、すべてのモデルで一貫して誤分類された。これは、希望表現の本質的な曖昧さや複雑さが、現在のNLPモデルの課題となっている可能性を示唆している。
• 誤分類ツイートの分析から、単語数、文字数、ストップワード頻度との強い相関は認められなかったが、名前付きエンティティ認識（NER）タグに顕著なパターンが見られた。これはエンティティレベルの特徴が誤分類に寄与している可能性を示唆している。

Figure 2: Word cloud of hope keywords in the dataset