[論文レビュー] Demoting Racial Bias in Hate Speech Detection

Mengzhou Xia, Anjalie Field+1 more|arXiv (Cornell University)|May 25, 2020

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

本論文は、モデル予測におけるアフリカ系アメリカ英語（AAE）特徴への依存を軽減することで、嫌がらせ発言検出における人種的バイアスを低減する対抗的訓練手法を提案する。毒性を予測する分類器を、AAEに関する情報を最小化する専用の対抗者を通じて訓練することで、AAEテキストの偽陽性率を2.2–3.2%まで低下させつつ、全体の分類性能を損なわない。

ABSTRACT

In current hate speech datasets, there exists a high correlation between annotators' perceptions of toxicity and signals of African American English (AAE). This bias in annotated training data and the tendency of machine learning models to amplify it cause AAE text to often be mislabeled as abusive/offensive/hate speech with a high false positive rate by current hate speech classifiers. In this paper, we use adversarial training to mitigate this bias, introducing a hate speech classifier that learns to detect toxic sentences while demoting confounds corresponding to AAE texts. Experimental results on a hate speech dataset and an AAE dataset suggest that our method is able to substantially reduce the false positive rate for AAE text while only minimally affecting the performance of hate speech classification.

研究の動機と目的

• アフリカ系アメリカ英語（AAE）テキストにおける高い偽陽性率を是正すること。これは、バイアスのかかったクラウドアノテーションに起因する。
• バイアスのかかったデータセットで学習した機械学習モデルが、AAE-有害性の誤った相関関係を強化することを軽減すること。
• 嫌がらせ発言検出性能を維持しつつ、言語的特徴（方言関連）へのモデル依存を低減する手法を開発すること。
• モデル学習中に保護的属性（AAEなど）を軽視することで、NLPにおける公平性を実現し、機会の平等基準に適合させること。
• 保護的属性が不平等をもたらす可能性のある任意のタスクにおいて、テキスト分類器のデバイアス化に一般化可能なフレームワークを提供すること。

提案手法

• モデルは3部構成のアーキテクチャを採用する：双方向LSTMエンコーダーにアテンションを組み合わせ、二値の毒性分類器、およびAAE検出のための専用対抗ネットワーク。
• 対抗的訓練を用いて、符号化されたテキスト表現に含まれるAAEに関する情報を最小化することで、分類器が毒性の兆候に注目するよう促進する。
• 訓練目的は、毒性分類器の標準的な交差エントロピー損失と、対抗者による符号化表現からのAAEの正確な予測を妨げる対抗損失の組み合わせである。
• AAEは、Blodgettら（2016）の研究で人口統計情報から推定され、またはFountaら（2018）の嫌がらせ発言データセットで自動的に検出された。
• 表現から段階的に方言情報が除去されているかを確認するため、対抗者の検証精度を監視する。
• 複数の対抗者を評価したが、単一の対抗者に比べて性能向上は認められず、本研究の単一属性軽視設定では複数の対抗者が不要であることが示された。

実験結果

リサーチクエスチョン

• RQ1 対抗的訓練は、嫌がらせ発言検出におけるアフリカ系アメリカ英語（AAE）特徴へのモデル依存を効果的に低減できるか？
• RQ2 全体の嫌がらせ発言分類性能を損なわず、AAEテキストの偽陽性率（FPR）はどの程度低下できるか？
• RQ3 提案手法は、バイアスの測定可能な低減を達成しつつ、分類器の有用性を維持するか？
• RQ4 本研究の文脈において、単一の対抗者と複数の対抗者を比較した場合、方言情報の軽視にどのような差が生じるか？
• RQ5 このアプローチは、保護的属性が不平等をもたらす可能性のある他のテキスト分類タスクにも一般化可能か？

主な発見

• 提案手法は、評価されたデータセットにおいてAAEテキストの偽陽性率（FPR）を2.2–3.2ポイント低下させ、非攻撃的AAEコンテンツの誤分類を顕著に低減した。
• 訓練過程を通じて、AAE対抗者の検証精度はDWMW17で6–10ポイント、FDCL18で2–5ポイント低下した。これは、表現から段階的に方言情報が除去されたことを確認する。
• AAE予測精度が低下しても、主たる毒性分類器は高い性能を維持しており、コアタスクの有用性にほとんど影響がないことが示された。
• 複数の対抗者を用いても、単一の対抗者に比べて結果に改善は認められず、本研究の単一属性軽視設定では複数の対抗者が不要であることが示唆された。
• モデルはAAEに部分的に不変な表現を学習し、バイアスを低減しつつ、毒性予測のための予測力を維持した。
• 本手法は、さまざまな保護的属性や分類タスクにおいて、NLPモデルのデバイアス化に広く応用可能である可能性を示した。