[論文レビュー] Identification of Bias Against People with Disabilities in Sentiment Analysis and Toxicity Detection Models

Pranav Narayanan Venkit, Shomir Wilson|arXiv (Cornell University)|Nov 25, 2021

Text Readability and Simplification被引用数 14

ひとこと要約

本論文は、感情分析および毒性検出モデルにおける障害関連のバイアスを検出することを目的とした、1,126文からなる BITS コーパス（Bias Identification Test in Sentiments）を紹介する。4つの感情分析ツール（VADER、TextBlob、Google Cloud NLP、DistilBERT）および2つの毒性分類器（Toxic Comment Classification、Unintended Bias in Toxic Comments）において、p値が2e-16にまで及ぶ統計的に有意な負のバイアスが確認され、障害関連用語が一貫して否定的または有毒と誤分類されることを示している。

ABSTRACT

Sociodemographic biases are a common problem for natural language processing, affecting the fairness and integrity of its applications. Within sentiment analysis, these biases may undermine sentiment predictions for texts that mention personal attributes that unbiased human readers would consider neutral. Such discrimination can have great consequences in the applications of sentiment analysis both in the public and private sectors. For example, incorrect inferences in applications like online abuse and opinion analysis in social media platforms can lead to unwanted ramifications, such as wrongful censoring, towards certain populations. In this paper, we address the discrimination against people with disabilities, PWD, done by sentiment analysis and toxicity classification models. We provide an examination of sentiment and toxicity analysis models to understand in detail how they discriminate PWD. We present the Bias Identification Test in Sentiments (BITS), a corpus of 1,126 sentences designed to probe sentiment analysis models for biases in disability. We use this corpus to demonstrate statistically significant biases in four widely used sentiment analysis tools (TextBlob, VADER, Google Cloud Natural Language API and DistilBERT) and two toxicity analysis models trained to predict toxic comments on Jigsaw challenges (Toxic comment classification and Unintended Bias in Toxic comments). The results show that all exhibit strong negative biases on sentences that mention disability. We publicly release BITS Corpus for others to identify potential biases against disability in any sentiment analysis tools and also to update the corpus to be used as a test for other sociodemographic variables as well.

研究の動機と目的

• 障害のある人々（PWD）に対する感情分析および毒性検出モデルに潜む暗黙のバイアスを調査・暴露すること。
• 特にソーシャルメディアデータで訓練されたモデルにおける、無意識の障害差別的バイアスという未だ十分に検討されていない問題に取り組むこと。
• 社会的・文化的属性のバイアスを検出できる標準化された、モデルに依存しないテストを策定すること。当初は障害に焦点を当てる。
• 広く使用されている公開ツールにおける体系的なバイアス評価を可能にすることで、NLPにおける公平性と包摂性を促進すること。
• BITS コーパスを公開リソースとして提供し、将来的に他の社会的・文化的属性集団への拡張を可能とすること。

提案手法

• 障害関連用語および社会的グループへの言及を対象とした、1,126文の英語文からなる、センチメント中立的およびセンチメントを含むコーパスを体系的に構築する。
• テンプレートベースのアプローチを用いて、多様で文脈的に制御された文を生成し、バイアスの有無を検出する。
• VADER、TextBlob、Google Cloud Natural Language API、DistilBERT の4つの広く使われている感情分析モデルを評価するために、このコーパスを適用する。
• Detoxify ライブラリに含まれる2つの毒性検出モデル（Toxic Comment Classification、Unintended Bias in Toxic Comments）をテストする。
• 社会的・文化的属性集団の指標を用いた線形回帰分析により、モデル出力におけるバイアスの統計的有意性を測定する。
• p値分析を実施し、PWD を含むさまざまな社会的・文化的属性集団におけるセンチメントおよび毒性スコアを比較する。

実験結果

リサーチクエスチョン

• RQ1 広く使われている感情分析モデルは、障害のある人々に対して統計的に有意なバイアスを示すか？
• RQ2 障害関連用語を含む文を分類する際、毒性検出モデルの性能はいかがなものか？
• RQ3 標準化された、モデルに依存しないコーパスは、NLPシステムにおける暗黙のバイアスを効果的に特定できるか？
• RQ4 ソーシャルメディアで訓練されたモデルは、どの程度障害関連コンテンツを否定的または有毒と誤分類するか？
• RQ5 BITS コーパスは、障害にとどまらず、人種、性別、社会経済的地位などの他の属性におけるバイアスの検出に拡張可能か？

主な発見

• VADER、TextBlob、Google Cloud NLP、DistilBERT の4つの感情分析モデルすべてが、障害関連コンテンツに対して統計的に有意な負のバイアスを示しており、p値は2e-16にまで低下している。
• Toxic Comment Classification および Unintended Bias in Toxic Comments モデルの両方とも、'autistic' や 'mentally handicapped' といった用語に対して著しく高い毒性スコアを割り当てており、強い暗黙の障害差別的バイアスが示されている。
• DSBL:S（障害特異的バイアス）の比較におけるp値は、VADERおよびDistilBERTで2e-16であり、観察されたバイアスの極めて高い統計的有意性を確認している。
• 障害関連用語の毒性スコアに低い標準偏差が見られるのは、ランダムなノイズではなく、一貫した過剰分類が行われていることを示唆している。
• PWD に文脈的に配慮した訓練を受けて作られた Toxicity_Biased モデルは、元のモデルと同等の性能にとどまり、訓練データが歪んでいる限り、バイアス軽減の取り組みが効果を発揮しない可能性があることを示している。
• BITS コーパスは、すべてのテスト対象モデルにおいてバイアスを効果的に露呈した。これは、NLPシステムにおける障害関連バイアスの評価に、再現可能で公開可能なベンチマークとしての有効性を示している。