[論文レビュー] Hope Speech Detection: A Computational Analysis of the Voice of Peace

Shriphani Palakodety, Ashiqur R. KhudaBukhsh+1 more|arXiv (Cornell University)|Sep 11, 2019

Political Conflict and Governance被引用数 18

ひとこと要約

本稿では、政治的緊張状態にあたる紛争期におけるオンラインユーザー生成コンテンツから敵意を和らげる内容を特定する、自然言語処理分野における新規タスク「希望スピーチ検出」を紹介する。インド・パキスタン危機のYouTubeコメントを対象に、低リソース言語同定にポリグロット単語埋め込みを用い、微細調整された分類器を適用した結果、平和を促進するメッセージの検出で84.68%の精度を達成。これは、緊張が最も高かった時期に平和的傾向が最も高止まりしたことを示している。

ABSTRACT

The recent Pulwama terror attack (February 14, 2019, Pulwama, Kashmir) triggered a chain of escalating events between India and Pakistan adding another episode to their 70-year-old dispute over Kashmir. The present era of ubiquitious social media has never seen nuclear powers closer to war. In this paper, we analyze this evolving international crisis via a substantial corpus constructed using comments on YouTube videos (921,235 English comments posted by 392,460 users out of 2.04 million overall comments by 791,289 users on 2,890 videos). Our main contributions in the paper are three-fold. First, we present an observation that polyglot word-embeddings reveal precise and accurate language clusters, and subsequently construct a document language-identification technique with negligible annotation requirements. We demonstrate the viability and utility across a variety of data sets involving several low-resource languages. Second, we present an analysis on temporal trends of pro-peace and pro-war intent observing that when tensions between the two nations were at their peak, pro-peace intent in the corpus was at its highest point. Finally, in the context of heated discussions in a politically tense situation where two nations are at the brink of a full-fledged war, we argue the importance of automatic identification of user-generated web content that can diffuse hostility and address this prediction task, dubbed \emph{hope-speech detection}.

研究の動機と目的

• 地政学的紛争期における高ストレスなオンラインディスコースにおいて、敵意を和らげるコンテンツを検出する課題に対処すること。
• 最小限の人的アノテーションで、ポリグロット単語埋め込みを用いた低リソース言語同定手法を開発すること。
• 2019年インド・パキスタン危機期における戦争賛否感情の時間的傾向を分析すること。
• 希望スピーチ検出を、ソーシャルメディアモデレーションにおける実用的応用を持つ新しいNLPタスクとして確立すること。
• 自動検出による平和的コンテンツ同定が、現実世界の環境において実現可能で効果的であることを示すこと。

提案手法

• 2019年プルワマ攻撃およびその影響を扱った2,890本の動画から、921,235件の英語YouTubeコメントを含む大規模コーパスを構築した。
• 最小限の人的アノテーションデータを用いて、高精度な言語クラスタリングを実現するポリグロット単語埋め込みに基づく言語同定手法を提案した。
• 極性フレーズ辞書と教師あり学習を用いて、手動アノテーション済みコメントを訓練データとして希望スピーチ分類器を構築した。
• 正則化された特徴量を用いて分類器を訓練し、100回のランダムなデータ分割に対して性能を評価した。
• 実世界の性能を評価するために、1,000件のランダムに抽出されたラベルなしコメントについて人的評価を実施した。
• 提案された希望スピーチ検出タスクとの性能差を比較するため、スターフォードコアNLPをベースラインとして用いた。

実験結果

リサーチクエスチョン

• RQ1 ポリグロット単語埋め込みを用いて、人的アノテーションを最小限に抑えながら、多言語ソーシャルメディアデータ向けの高精度な言語同定システムを構築できるか？
• RQ2 高リスクな地政学的紛争期において、戦争賛否感情のトレンドは時間経過とともにどのように変化するか？
• RQ3 敵意を和らげ、平和を促進する内容（希望スピーチ）を、高い正確性と再現率で自動検出できるか？
• RQ4 この文脈において、専用の希望スピーチ分類器の性能は、一般的なセンチメント分析ツールと比べてどうなるか？
• RQ5 提案手法を用いて、現実のソーシャルメディアディスコースにおいて、どの種類の平和的コンテンツのサブカテゴリが検出可能か？

主な発見

• ポリグロット単語埋め込みに基づく言語同定手法は、人的アノテーションをほとんど要せず、多言語ソーシャルメディアデータ、特に低リソース言語の分析において高い精度を達成した。
• インド・パキスタン危機の最も激しい段階に差し掛かった時期に、平和的傾向が最も高止まりした。これは、緊張が平和的ディスコースを抑制するという予想とは対照的である。
• 希望スピーチ分類器は、実世界のテストで84.68%の精度を達成。人的評価では、予測された111件のポジティブコメントのうち94件を正しく同定した。
• 分類器は、平和を求める呼びかけ、共通の humanity の認識、戦争・政治的対立の非難といった、希望スピーチの主なサブカテゴリをすべて検出できた。
• 一般的なセンチメント分析ツール（例：Stanford CoreNLP）は、本タスクでは低性能であった（F1スコア：33.17%）。これは、希望スピーチ検出には、標準的なセンチメント分析をはるかに超える的確なアプローチが必要であることを示している。
• 本研究は、平和的コンテンツの自動検出が現実世界で実現可能であり、高ストレスなオンラインディスコースにおける人的モデレーション作業を大幅に削減できる可能性を示している。