[論文レビュー] NoisyHate: Mining Online Human-Written Perturbations for Realistic Robustness Benchmarking of Content Moderation Models

Yiran Ye, Thái Hoàng Lê+1 more|arXiv (Cornell University)|Mar 18, 2023

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

この論文では、リアルな人間によるテキストの変種をソーシャルメディアから収集したベンチマークデータセット NoisyHate を紹介している。このデータセットは、中毒的発言検出モデルの現実的な回避攻撃に対する耐性を評価することを目的としている。実験の結果、BERT や RoBERTa といった最先端のモデル、さらには商用の Perspective API ですら、変種を加えられた中毒的コンテンツを信頼性高く検出できないことが示され、人間が理解できる変種であっても、現在のモデルの耐性に深刻なギャップが存在することが明らかになった。

ABSTRACT

Online texts with toxic content are a clear threat to the users on social media in particular and society in general. Although many platforms have adopted various measures (e.g., machine learning-based hate-speech detection systems) to diminish their effect, toxic content writers have also attempted to evade such measures by using cleverly modified toxic words, so-called human-written text perturbations. Therefore, to help build automatic detection tools to recognize those perturbations, prior methods have developed sophisticated techniques to generate diverse adversarial samples. However, we note that these ``algorithms"-generated perturbations do not necessarily capture all the traits of ``human"-written perturbations. Therefore, in this paper, we introduce a novel, high-quality dataset of human-written perturbations, named as NoisyHate, that was created from real-life perturbations that are both written and verified by human-in-the-loop. We show that perturbations in NoisyHate have different characteristics than prior algorithm-generated toxic datasets show, and thus can be in particular useful to help develop better toxic speech detection solutions. We thoroughly validate NoisyHate against state-of-the-art language models, such as BERT and RoBERTa, and black box APIs, such as Perspective API, on two tasks, such as perturbation normalization and understanding.

研究の動機と目的

• 中毒的コンテンツ検出における機械生成の敵対的変種と、現実の人の手による変種の間のギャップを埋めること。
• オンラインのソーシャルプラットフォームから実際に得られた変種を用いて、現実的で信頼性のあるベンチマークデータセットを構築すること。
• 既存のモデルおよびスペルチェッカーが人間による変種に対してどれほど効果的に機能するかを評価すること。
• 現在のモデルが現実世界の人の生成する敵対的攻撃に対して依然として脆弱であることを示すこと。

提案手法

• Amazon MTurk を用いて、明確なガイドラインを用いてソーシャルメディアプラットフォームから実際の人間による変種をクラウドソーシングで収集した。
• Jigsaw の中毒的コメントデータセットを基盤とし、元の中毒性ラベルおよびアイデンティティのアノテーションを保持した。
• 複数のスペルチェッカー（例：pyspellchecker、Google Search）を適用し、正規化の可能性を評価し、限界を特定した。
• 最先端のモデル（BERT、RoBERTa）および Perspective API を、元のデータセットと変種を加えたバージョンの両方で評価した。
• 異なる意思決定のしきい値を用いた、閾値ベースの精度比較を実施し、変種に対する耐性を測定した。
• 変種の質および人間らしさを検証するためのインタラクティブな人間評価インターフェースを設計した。

Figure 1 . Overall curation pipeline of NoisyHate dataset. This pipeline has three steps: (1) Data sourcing and cleaning from the original Jigsaw dataset (Section 3.2 ), (2) Sentence perturbation with human-written perturbations via pseudo-random sampling (Section 3.3 ) and (3) Human evaluation via

実験結果

リサーチクエスチョン

• RQ1 現在の中毒的コンテンツ検出モデルは、現実の人間によるテキスト変種をどれほど効果的に認識できるか？
• RQ2 既存のスペルチェッカーは、オンラインの中毒的コンテンツに見られる人間による変種を効果的に正規化できるか？
• RQ3 最先端のモデルは、現実の人間が生成する敵対的変種に直面した際に、性能がどの程度低下するか？
• RQ4 検出システムを回避するために最も一般的で効果的な変種の種類は何か？

主な発見

• Perspective API は、しきい値 0.5 における精度 0.672 を達成し、BERT（0.557）や RoBERTa（0.583）を上回る最高の耐性を示した。
• RoBERTa-TweetEval は、クリーンデータでは最高の精度（t=0.5 時に 0.915）を記録したが、変種を加えたデータでは著しく性能が低下した。
• pyspellchecker などのスペルチェッカーは、商用ツールよりも正規化精度が高かったが、新規または複雑な変種には依然として失敗した。
• このデータセットは、優れたモデルですら、人間による変種に対して高い検出精度を維持できていないことを示しており、耐性のギャップが深刻であることを示している。
• 『russ!an』 や 『idiiot』 のような人間による変種が、実際に収集され、機械的でない中毒的単語の代替形として現実的であることが確認された。

Figure 2 . Python code for loading the NoisyHate datasets into a table using the Hugging Face API