[論文レビュー] Assessing the impact of contextual information in hate speech detection

Juan Manuel Cepeda Pérez, Franco M. Luque+9 more|arXiv (Cornell University)|Oct 2, 2022

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

本研究では、新型コロナウイルス感染症のパンデミック期におけるニュース記事へのツイッター返信を対象に、新たにアノテートされたコーパスを用いて、スペイン語における嫌がらせ発言検出における文脈情報の影響を調査している。変換器ベースのモデルを用いて、著者らは、特にニュース記事の見出しといった文脈情報を取り入れることで、二値分類および多値分類の両方において、マクロF1スコアがそれぞれ4.2点および5.5点向上することを実証した。

ABSTRACT

In recent years, hate speech has gained great relevance in social networks and other virtual media because of its intensity and its relationship with violent acts against members of protected groups. Due to the great amount of content generated by users, great effort has been made in the research and development of automatic tools to aid the analysis and moderation of this speech, at least in its most threatening forms. One of the limitations of current approaches to automatic hate speech detection is the lack of context. Most studies and resources are performed on data without context; that is, isolated messages without any type of conversational context or the topic being discussed. This restricts the available information to define if a post on a social network is hateful or not. In this work, we provide a novel corpus for contextualized hate speech detection based on user responses to news posts from media outlets on Twitter. This corpus was collected in the Rioplatense dialectal variety of Spanish and focuses on hate speech associated with the COVID-19 pandemic. Classification experiments using state-of-the-art techniques show evidence that adding contextual information improves hate speech detection performance for two proposed tasks (binary and multi-label prediction). We make our code, models, and corpus available for further research.

研究の動機と目的

• 孤立したメッセージに限定された嫌がらせ発言検出の限界を解消するため、会話的およびトピック的文脈を統合すること。
• 新型コロナウイルス関連の差別を焦点とした、高品質で手作業でアノテートされたリオプラターノ・スペイン語の嫌がらせ発言データセットの構築。
• 文脈情報が、最先端の自然言語処理モデルの嫌がらせ発言検出タスクにおける性能向上に寄与するかどうかを調査すること。
• 二値分類を超えて、攻撃対象や行動呼びかけを含む多値分類のアプローチを検討すること。
• 研究の再現性および今後の研究を支援するため、コーパス、アノテーション、モデルをオープンソースで提供すること。

提案手法

• アルゼンチンの大手マスコミのニュース記事に対するツイッター返信を対象に、COVID-19関連の嫌がらせ発言に焦点を当てたコーパスを構築した。
• 嫌がらせ発言、攻撃対象、行動呼びかけをカバーする包括的な多値ガイドラインに従い、代表的なサンプルを詳細にアノテートした。
• 孤立したコメントと文脈に配慮した入力を両方の入力形式で微調整した変換器ベースのモデル（例：BERT風アーキテクチャ）を採用した。
• 文脈情報の有無を比較した上で、二値分類および多値分類の嫌がらせ発言検出タスクにおけるマクロF1スコアを用いて性能を評価した。
• 見出し、全文記事、会話スレッドといった、さまざまな種類の文脈情報の効果を比較した。
• 誤り分析を実施し、特に意味的に複雑な嫌がらせ発言（例：LGBTIコミュニティを標的にする皮肉や隐喩）に対する継続的な課題を特定した。

実験結果

リサーチクエスチョン

• RQ1 ニュース記事からの文脈情報の統合が、スペイン語における嫌がらせ発言検出性能を向上させるか？
• RQ2 文脈情報の組み込みが、攻撃対象や行動呼びかけといった多値分類の嫌がらせ発言特徴の検出にどのように影響するか？
• RQ3 見出しや全文記事といった、さまざまな種類の文脈情報の中で、どのタイプが嫌がらせ発言検出において最高のパフォーマンスを示すか？
• RQ4 最新のNLPモデルが、LGBTIコミュニティを標的にする皮肉や隠喩を含む意味的に複雑な嫌がらせ発言に対して、どの程度困難を抱えているか？
• RQ5 孤立したメッセージに限定された嫌がらせ発言検出の限界を、低リソースで方言特有の文脈環境において、文脈情報が軽減できるか？

主な発見

• 特にニュース記事の見出しという文脈情報を追加することで、二値分類のマクロF1スコアが4.2ポイント向上した。
• 多値分類では、文脈情報の組み込みによりマクロF1スコアが5.5ポイント上昇し、細分化された嫌がらせ発言検出においてより顕著な向上が見られた。
• 最小限の文脈（見出し）が最も高いパフォーマンスを示し、要約的かつトピックに関連した文脈が十分かつ効果的であることが示された。
• 長期間の文脈（例：全文記事）を用いた場合、モデルのパフォーマンスは顕著に向上せず、過剰な文脈情報が価値をもたらさないか、ノイズを引き起こす可能性があることが示唆された。
• 皮肉や隠喩を用いたLGBTI差別を標的にする嫌がらせ発言の検出は依然として困難であったが、文脈情報の統合により顕著な改善が見られた。
• 本研究では、文脈情報が、とくに意味的に複雑で繊細な差別的表現に対して、嫌がらせ発言検出システムの堅牢性と正確性を向上させる重要な要因であることが確認された。