[論文レビュー] AI Gender Bias, Disparities, and Fairness: Does Training Data Matter?

Ehsan Latif, Xiaoming Zhaı+1 more|arXiv (Cornell University)|Dec 17, 2023

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本研究では、訓練データのバランスがAIベースの学生エッセイ採点における性別バイアス、格差、公平性に与える影響を調査する。細分化されたBERTとGPT-3.5を用い、男女混合、男性限定、女性限定のデータセットで微調整した結果、男女混合で訓練されたモデルは、性別に差がない有意な採点バイアスを示し、平均スコア差（MSG）が低く、公平性（等しいオッズ）が高いことが判明。これは、バランスの取れた訓練が性別格差を低減させ、公平性を向上させることを示している。

ABSTRACT

This study delves into the pervasive issue of gender issues in artificial intelligence (AI), specifically within automatic scoring systems for student-written responses. The primary objective is to investigate the presence of gender biases, disparities, and fairness in generally targeted training samples with mixed-gender datasets in AI scoring outcomes. Utilizing a fine-tuned version of BERT and GPT-3.5, this research analyzes more than 1000 human-graded student responses from male and female participants across six assessment items. The study employs three distinct techniques for bias analysis: Scoring accuracy difference to evaluate bias, mean score gaps by gender (MSG) to evaluate disparity, and Equalized Odds (EO) to evaluate fairness. The results indicate that scoring accuracy for mixed-trained models shows an insignificant difference from either male- or female-trained models, suggesting no significant scoring bias. Consistently with both BERT and GPT-3.5, we found that mixed-trained models generated fewer MSG and non-disparate predictions compared to humans. In contrast, compared to humans, gender-specifically trained models yielded larger MSG, indicating that unbalanced training data may create algorithmic models to enlarge gender disparities. The EO analysis suggests that mixed-trained models generated more fairness outcomes compared with gender-specifically trained models. Collectively, the findings suggest that gender-unbalanced data do not necessarily generate scoring bias but can enlarge gender disparities and reduce scoring fairness.

研究の動機と目的

• 訓練データにおける性別不均衡が、AIベースの自動採点システムにおけるバイアス、格差、あるいは不公平を引き起こすかどうかを検討すること。
• スコアの正確性、平均スコア差（MSG）、公平性の観点から、男女混合で訓練されたモデルと性別特化モデルの性能を比較すること。
• バランスの取れた訓練データが、教育分野のAI応用における性別格差を緩和し、アルゴリズムの公平性を向上させることを評価すること。
• AIが必然的に社会的性別バイアスを再現するとする仮定に疑問を呈すること、特に自動評価の文脈において。

提案手法

• 男女混合、男性限定、女性限定の3つの異なる訓練データスプリットを用い、BERTとGPT-3.5を微調整した。
• スコアの正確性差（対応t検定）、性別ごとの人間採点と機械採点の平均スコア差（MSG）、公平性のための等しいオッズ（EO）の3つのバイアス分析手法を用いて評価した。
• 6つの評価項目において、男性および女性参加者から得られた1,000件以上の人的に採点された学生の回答を用いてモデルを訓練した。
• 統計的分析を実施し、モデルの予測が人的採点スコアと比較して、性別による正確性、スコア差、予測の均等性の違いに注目した。
• EOを用いて、性別間での真正陽性率と偽陽性率の均等性を測定し、低い値がより高い公平性を示すことを定義した。
• 訓練データ構成の影響を隔離するために、男女混合のテストセット上で、男女混合で訓練されたモデルと性別特化モデルを比較分析した。

実験結果

リサーチクエスチョン

• RQ1 訓練データの不均衡が、AIベースの自動採点システムにおける測定可能な性別バイアスを引き起こすか？
• RQ2 男女混合で訓練されたモデルは、性別特化モデルと比較して、平均スコア差（MSG）と公平性の観点でどのように異なるか？
• RQ3 等しいオッズ（EO）で測定したモデルの公平性は、男女混合と単一性別で訓練されたモデルの間でどの程度異なるか？
• RQ4 バランスの取れた訓練データが、AI生成の採点結果における性別格差を低減または解消できるか？
• RQ5 AI採点システムにおける性別バイアスの主な要因は、データの不均衡か、モデルアーキテクチャか？

主な発見

• 男女混合で訓練されたモデルは、男性および女性の回答において有意な採点正確性の差を示さず、性別バイアスがほとんどないことを示している。
• 男女混合で訓練されたモデルは、人的採点スコアと比較して、平均スコア差（MSG）が低く、性別特化モデルと比較して性別格差が低いことが示された。
• 男女混合で訓練されたモデルの等しいオッズ（EO）値は、一貫して低く（例：GPT-3.5では0.061、BERTでは0.067）、公平性が高いことを示している。
• 性別特化モデル（例：男性限定または女性限定で訓練）は、MSGとEO値が高く、格差が増大し、公平性が低下していることが判明した。
• BERTの場合、男性限定モデルのEOは0.107、女性限定モデルのEOは0.074であり、いずれも男女混合モデルの0.067より高い値を示した。
• GPT-3.5の場合、男女混合モデルのEOは0.061であったが、男性限定モデルと女性限定モデルのEO値はそれぞれ0.076と0.074であり、男女混合訓練による公平性の優位性が確認された。