[論文レビュー] Counter Hate Speech in Social Media: A Survey

Dana Alsagheer, Hadi Mansourifar+1 more|arXiv (Cornell University)|Feb 21, 2022

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

本調査は、表現の自由を保ちつつ嫌がらせ発言に対抗するための予防的アプローチとして、ソーシャルメディアにおける対嫌がらせ発言（CHS）生成を調査する。既存の研究を要約し、手法、データセット、影響評価を分類することで、縦断的なコメントスレッド解析の欠如や、CHS介入の現実世界における有効性の不確実性といったギャップを浮き彫りにする。

ABSTRACT

With the high prevalence of offensive language against minorities in social media, counter-hate speeches (CHS) generation is considered an automatic way of tackling this challenge. The CHS is supposed to appear as a third voice to educate people and keep the social [red lines bold] without limiting the principles of freedom of speech. In this paper, we review the most important research in the past and present with a main focus on methodologies, collected datasets and statistical analysis CHS's impact on social media. The CHS generation is based on the optimistic assumption that any attempt to intervene the hate speech in social media can play a positive role in this context. Beyond that, previous works ignored the investigation of the sequence of comments before and after the CHS. However, the positive impact is not guaranteed, as shown in some previous works. To the best of our knowledge, no attempt has been made to survey the related work to compare the past research in terms of CHS's impact on social media. We take the first step in this direction by providing a comprehensive review on related works and categorizing them based on different factors including impact, methodology, data source, etc.

研究の動機と目的

• ソーシャルメディアプラットフォームにおけるマイノリティを標的とした嫌がらせ発言の増加に対処すること。
• 自由な表現を抑圧せずに、ユーザーに教育的介入を加える第三者の自動対嫌がらせ発言の役割を検討すること。
• CHSの長期的影響、特に介入前後のコメントスレッドのダイナミクスに関する評価における研究ギャップを特定すること。
• 手法、データソース、評価指標の観点から、既存のCHS生成アプローチを包括的かつ体系的にレビューすること。
• 影響、モデル設計、倫理的配慮の観点から過去の研究を比較することで、今後の研究の基盤を確立すること。

提案手法

• 2018年から2022年までの、対嫌がらせ発言に関する査読済み論文およびプレプリント論文の体系的文献レビュー。
• 手法（例：シーケンス・ツー・シーケンスモデル、ファインチューニングされたトランスフォーマー・アーキテクチャ）、データソース（例：Twitter、Reddit）、評価戦略に基づいてCHS研究を分類すること。
• 過去の研究で報告された統計的パフォーマンス指標（嫌がらせ発言検出およびCHS生成のF1スコア、適合率、再現率など）の分析。
• コメントスレッドのダイナミクスに着目し、介入前後における感情および関与度のパターンを検討することで、CHSがソーシャルメディアの議論に与える影響を評価すること。
• 研究手法の一貫性を確保し、文献レビューにおける重複を避けるために、先行研究とのテクスト的重複を同定すること。
• タスクタイプ（例：応答生成、緩和、教育）および展開環境に基づいてCHSシステムを分類するための構造的分類法の使用。

実験結果

リサーチクエスチョン

• RQ1 対嫌がらせ発言生成で用いられる主な手法は何か。それらは設計やパフォーマンスにおいてどのように異なるか。
• RQ2 既存のCHSデータセットは、ソース、アノテーション品質、現実のソーシャルメディアディスコースの代表性という観点で、どのように異なるか。
• RQ3 CHSがソーシャルメディアスレッドにおけるその後のユーザー相互作用と議論の質に与える測定可能な影響は何か。
• RQ4 なぜ一部のCHS介入はポジティブな結果を生まないのか。その無効性や予期しない結果を引き起こす要因は何か。
• RQ5 オンラインコミュニティにおける自動CHSの長期的かつ社会的・心理的影響を評価するうえでの主要な研究ギャップは何か。

主な発見

• CHS生成システムの大半は、BART や T5 などのファインチューニングされたトランスフォーマー・モデルに依存しており、ベンチマークデータセットでは通常0.70以上のF1スコアを達成している。
• 孤立した指標では高いパフォーマンスを示すものの、コメントスレッドの進化やユーザー行動の変化の評価が不十分なため、CHSの現実世界での影響は依然として不確かである。
• 多くの研究が、CHS導入前の後でのコメントの順序を無視しており、議論の進行状況や逆効果の可能性に関する洞察が制限されている。
• 本調査と先行研究（例：arXiv:1909.04251, arXiv:2009.08392）との間には顕著なテクスト的重複があるため、今後の研究ではより明確な貢献が求められる。
• 評価プロトコルに合意がなく、バイナリ嫌がらせ発言検出を超えたCHS有効性を評価するための標準化されたベンチマークや指標が欠如している。
• CHSが常に議論を改善すると楽観的に仮定する考えは、実証的証拠によって一貫して支持されておらず、一部の研究ではユーザー関与や感情に最小限または逆効果の影響が報告されている。