[論文レビュー] Reading Between the Demographic Lines: Resolving Sources of Bias in Toxicity Classifiers

Elizabeth Reichert, Helen Qiu+1 more|arXiv (Cornell University)|Jun 29, 2020

Hate Speech and Cyberbullying Detection参考文献 12被引用数 4

ひとこと要約

本論文は、過剰サンプリング、アンダーサンプリング、およびテキスト生成を用いたトレーニングデータの再バランス化を通じて、アイデンティティに起因するバイアスを低減する公平性を重視したアプローチを提案する。TF-IDFおよびGloVe特徴量を用いた再バランス化データセット上でロジスティック回帰、ニューラルネットワーク、LSTMモデルを訓練した結果、アイデンティティ関連ツイートにおける誤検出率が6.9%に低下し、Perspective APIの10.3%と比較して顕著に低減された。これは、パフォーマンスを損なわせることなくバイアスを効果的に軽減できることを示している。

ABSTRACT

The censorship of toxic comments is often left to the judgment of imperfect models. Perspective API, a creation of Google technology incubator Jigsaw, is perhaps the most widely used toxicity classifier in industry; the model is employed by several online communities including The New York Times to identify and filter out toxic comments with the goal of preserving online safety. Unfortunately, Google's model tends to unfairly assign higher toxicity scores to comments containing words referring to the identities of commonly targeted groups (e.g., "woman,'' "gay,'' etc.) because these identities are frequently referenced in a disrespectful manner in the training data. As a result, comments generated by marginalized groups referencing their identities are often mistakenly censored. It is important to be cognizant of this unintended bias and strive to mitigate its effects. To address this issue, we have constructed several toxicity classifiers with the intention of reducing unintended bias while maintaining strong classification performance.

研究の動機と目的

• マイノリティグループが自らのアイデンティティを言及する際、それらのコメントが不釣り合いに誤検出されてしまう毒性分類器における意図しないバイアスを是正すること。
• 高い分類性能を維持しつつ、自動化された毒性検出における公平性を向上させること。
• 合成例を用いたデータ再バランス化が、アイデンティティ関連コンテンツの誤検出率を低下させることを評価すること。
• 再バランス化データセット上で訓練された複数のモデル（ロジスティック回帰、ニューラルネットワーク、LSTM）の性能をPerspective APIと比較すること。
• トレーニングデータの構成が、とりわけ代表が不足しているアイデンティティに対してモデルの一般化能力に与える影響を分析すること。

提案手法

• アイデンティティ関連コメントの表現を増やすために、過剰サンプリング、アンダーサンプリング、およびパラフレーズベースのテキスト生成を適用し、再バランス化されたデータセットを構築した。
• TF-IDFおよびGloVe埋め込みを入力特徴量として用い、ロジスティック回帰、フィードフォワードニューラルネットワーク、LSTMの複数のモデルを訓練した。
• クラスのバランスを図るために、アイデンティティ用語を含む毒性あり・なしの例数を増やすため、データ拡張技術の組み合わせを用いた。
• 標準指標（AUC、F1、FPR、FNR）を用いてモデルを評価し、米国下院議員のツイートから抽出したアイデンティティ関連ツイートのホールドアウトテストセット上で性能を比較した。
• 1,984件のアイデンティティ言及ツイートから成るデータセット上で、最良のパフォーマンスを示したモデルをGoogleのPerspective APIとベンチマーク比較した。
• モデルの誤分類を分析し、とりわけ性的指向や宗教といった代表が不足しているアイデンティティを含むポジティブセンチメントのツイートにおける失敗モードを特定した。

実験結果

リサーチクエスチョン

• RQ1 合成例を用いたデータ再バランス化は、毒性分類器におけるアイデンティティ関連コメントの誤検出率を低減できるか？
• RQ2 再バランス化データ上で訓練された場合、ロジスティック回帰、ニューラルネットワーク、LSTMといった異なるモデルアーキテクチャの性能はどのように比較されるか？
• RQ3 Perspective APIは、公平性最適化モデルと比較して、非毒性のアイデンティティ言及をどれほど過剰に検出しているか？
• RQ4 トレーニングデータにおけるアイデンティティ用語の多様性と頻度は、モデルの一般化能力およびバイアス軽減にどのような役割を果たすか？
• RQ5 なぜモデルはポジティブセンチメントを含むアイデンティティ言及ツイートを正しく分類できないのか、そしてその原因をどのように是正できるか？

主な発見

• 2層のニューラルネットワークモデルは、米国下院議員のアイデンティティ関連ツイートに対して6.9%の誤検出率を示したのに対し、Perspective APIは10.3%であった。これは誤検出率が相対的に33.9%低下したことを示している。
• モデルは高い分類性能を維持しており、段階的なデータ再バランス化の過程でAUCは上昇し、F1スコアは安定したままだった。
• 誤検出率（FPR）は、毒性のあるアイデンティティ関連コメントの数が増加するにつれて収束し、その後乖離した一方、誤未検出率（FNR）は著しく低下した。
• モデルはPerspective APIが正しく分類した78件のツイートを誤って分類したが、これらは主に性的指向や宗教といったあまり一般的でないアイデンティティを含むポジティブセンチメントのメッセージであった。
• モデルは、トレーニングデータに代表が不足しているアイデンティティ用語、とりわけポジティブな文脈で苦戦しており、テキスト生成によるデータ多様性の向上にもかかわらず、その原因はデータの多様性不足に起因している。
• 毒性あり・なしのアイデンティティ関連コメントの数を等しくするようにトレーニングセットを再バランス化することで、全体のパフォーマンスを損なわず公平性が著しく向上した。