[論文レビュー] Empirical Analysis of Multi-Task Learning for Reducing Model Bias in Toxic Comment Detection

Ameya Vaidya, Feng Mai+1 more|arXiv (Cornell University)|Sep 21, 2019

Hate Speech and Cyberbullying Detection参考文献 39被引用数 16

ひとこと要約

本論文では、性的指向やマイノリティアイデンティティ（例：ゲイ、ブラック、ムスリム）を誤って有毒と誤検出するのを防ぐために、コメントの有毒性とアイデンティティ言及を同時に予測するアテンションベースのマルチタスク学習モデルを提案する。タスク間で表現を共有し、カスタム重み付き損失関数を用いることで、意図しないバイアスを低減。ベースラインモデル（GoogleのPerspective APIを含む）と比較して、非有毒なアイデンティティ言及コメントの平均有毒性スコアが10%低く抑えられた。

ABSTRACT

With the recent rise of toxicity in online conversations on social media platforms, using modern machine learning algorithms for toxic comment detection has become a central focus of many online applications. Researchers and companies have developed a variety of models to identify toxicity in online conversations, reviews, or comments with mixed successes. However, many existing approaches have learned to incorrectly associate non-toxic comments that have certain trigger-words (e.g. gay, lesbian, black, muslim) as a potential source of toxicity. In this paper, we evaluate several state-of-the-art models with the specific focus of reducing model bias towards these commonly-attacked identity groups. We propose a multi-task learning model with an attention layer that jointly learns to predict the toxicity of a comment as well as the identities present in the comments in order to reduce this bias. We then compare our model to an array of shallow and deep-learning models using metrics designed especially to test for unintended model bias within these identity groups.

研究の動機と目的

• 性的指向やマイノリティアイデンティティ（例：ゲイ、ブラック、ムスリム）を非有毒なコメントとして参照する場合に、過剰に有毒と誤検出される意図しないモデルバイアスを是正すること。
• 有毒性とアイデンティティ検出を同時に学習することで、これらのアイデンティティグループにおける偽陽性率を低減できるかを検証すること。
• 暗黙のバイアスを検出できるように設計された指標を用いて、最先端の浅層的および深層的学習モデルと比較して、提案モデルの性能を評価すること。
• アテンションと重み付き損失関数を用いたマルチタスク学習が、有毒性検出性能を損なわせることなく公平性を向上させられることを示すこと。
• 現在のモデル（Perspective APIを含む）が、明示的にそれらのアイデンティティを学習対象としていないにもかかわらず、特定のアイデンティティグループに対して測定可能なバイアスを示しているという実証的証拠を提供すること。

提案手法

• 同じ入力に対してコメントの有毒性と特定のアイデンティティ語の存在を同時に予測するマルチタスク学習フレームワークを設計する。
• 長距離依存関係や語の文脈的関係を捉えるためにアテンションメカニズムを統合し、有毒と非有毒のコメントの区別を高める。
• 非有毒なアイデンティティ言及コメントにおける偽陽性予測に対してペナルティを強化するカスタム重み付き損失関数を用いることで、このような誤りを最小限に抑えるようにモデルを促進する。
• Jigsaw Unintended Bias in Toxicity Classificationチャレンジの1,804,874件のコメントから構成される大規模データセットを用いてモデルを学習する。
• 共有表現を活用するトランスファーラーニングの原則に従い、有毒性予測ヘッドとアイデンティティ予測ヘッドの両方で微調整を行う。
• アイデンティティ固有の評価指標（非有毒および有毒なコメントテンプレートにおける平均有毒性スコアなど）を用いてモデルの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 有毒性とアイデンティティ検出を同時に学習することで、マイノリティアイデンティティを参照する非有毒コメントの偽陽性率を低減できるか？
• RQ2 アテンションを組み込んだ提案マルチタスク学習モデルは、ベースラインモデル（例：CNN、LSTM、ロジスティック回帰）と比較して、公平性とバイアス低減の観点でどのように優れているか？
• RQ3 GoogleのPerspective APIは、明示的にそれらのアイデンティティグループを学習対象としていないにもかかわらず、特定のアイデンティティグループに対して意図しないバイアスを示しているか？
• RQ4 カスタム重み付き損失関数は、全体の有毒性検出性能を低下させることなく、アイデンティティ言及の非有毒コメントにおける偽陽性を効果的に低減できるか？
• RQ5 特に過去に偽陽性率が高かったグループに対して、提案モデルの性能はどの程度頑健であるか？

主な発見

• 提案されたマルチタスク学習モデルは、ベースラインモデル（GoogleのPerspective APIを含む）と比較して、マイノリティアイデンティティを参照する非有毒コメントの平均有毒性スコアを10%低く抑えた。
• 非有毒なアイデンティティ言及コメントでは、モデルが0.40を超える有毒性スコアを予測したことは一度もなかった。これは、偽陽性の強力な低減を示している。
• 有毒コメントでは、モデルが一貫して0.80以上のスコアを予測しており、実際の有毒性に対する高い感受性を維持していることが示された。
• 特にゲイ、ブラック、ムスリム、ユダヤ系など、特定のアイデンティティグループにおいて、浅層的および深層的ベースラインモデルと比較して、意図しないバイアスの低減において優れた性能を示した。
• GoogleのPerspective APIは、'ゲイ'、'レズビアン'、'バイセクシュアル'を含むコメントに対して、想定を上回る高い有毒性スコアを示しており、これらのアイデンティティグループに対する測定可能なバイアスが確認された。
• アテンションメカニズムにより、より良い文脈的理解が可能になり、良性なアイデンティティ言及と本物の有毒コンテンツの区別をより効果的に行えるようになった。