[논문 리뷰] AI Gender Bias, Disparities, and Fairness: Does Training Data Matter?

Ehsan Latif, Xiaoming Zhaı외 1명|arXiv (Cornell University)|2023. 12. 17.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 연구는 훈련 데이터의 균형이 인공지능 기반 학생 에세이 자동 채점에서 성별 편향, 격차 및 공정성에 영향을 미치는지 조사한다. 혼합 성별, 남성 전용, 여성 전용 데이터셋에서 미세조정된 BERT와 GPT-3.5를 사용하여 분석한 결과, 혼합 훈련 모델은 성별에 따른 유의미한 채점 편향이 없으며, 평균 점수 격차(MSG)는 낮고 공정성(등가된 오차)은 높게 나타났다. 이는 균형 잡힌 훈련이 성별 격차를 줄이고 공정성을 향상시킨다는 것을 시사한다.

ABSTRACT

This study delves into the pervasive issue of gender issues in artificial intelligence (AI), specifically within automatic scoring systems for student-written responses. The primary objective is to investigate the presence of gender biases, disparities, and fairness in generally targeted training samples with mixed-gender datasets in AI scoring outcomes. Utilizing a fine-tuned version of BERT and GPT-3.5, this research analyzes more than 1000 human-graded student responses from male and female participants across six assessment items. The study employs three distinct techniques for bias analysis: Scoring accuracy difference to evaluate bias, mean score gaps by gender (MSG) to evaluate disparity, and Equalized Odds (EO) to evaluate fairness. The results indicate that scoring accuracy for mixed-trained models shows an insignificant difference from either male- or female-trained models, suggesting no significant scoring bias. Consistently with both BERT and GPT-3.5, we found that mixed-trained models generated fewer MSG and non-disparate predictions compared to humans. In contrast, compared to humans, gender-specifically trained models yielded larger MSG, indicating that unbalanced training data may create algorithmic models to enlarge gender disparities. The EO analysis suggests that mixed-trained models generated more fairness outcomes compared with gender-specifically trained models. Collectively, the findings suggest that gender-unbalanced data do not necessarily generate scoring bias but can enlarge gender disparities and reduce scoring fairness.

연구 동기 및 목표

• 훈련 데이터의 성별 불균형이 인공지능 기반 자동 채점 시스템에서 편향, 격차 또는 불공정성을 유발하는지 조사하기.
• 채점 정확도, 평균 점수 격차(MSG), 공정성 측면에서 혼합 성별 훈련 모델과 성별 특화 모델 간의 성능을 비교하기.
• 균형 잡힌 훈련 데이터가 교육 분야의 인공지능 응용에서 성별 격차를 완화하고 알고리즘적 공정성을 향상시킬 수 있는지 평가하기.
• 특히 자동 평가 환경에서 인공지능이 필연적으로 사회적 성별 편향을 반복한다는 가정을 도전하기.

제안 방법

• 혼합 성별, 남성 전용, 여성 전용 데이터셋으로 세 가지 별도의 훈련 데이터 분할에서 BERT와 GPT-3.5를 미세조정하였다.
• 세 가지 편향 분석 기법을 사용하여 평가: 채점 정확도 차이(대응 t-검정), 성별에 따른 인간-기계 점수 간 평균 점수 격차(MSG), 공정성에 대한 등가된 오차(EO).
• 여섯 개의 평가 항목에서 남성 및 여성 참가자들의 1,000건 이상의 인간 평가 기반 학생 응답 데이터로 모델을 훈련시켰다.
• 통계적 분석을 통해 모델 예측값을 인간 평가 점수와 비교하였으며, 정확도, 점수 격차, 예측 균형성의 성별 기반 차이에 중점을 두었다.
• EO를 사용하여 성별 간 참양성과 거짓양성 비율의 균형을 측정하였으며, 낮은 값일수록 더 높은 공정성을 의미한다.
• 훈련 데이터 구성의 영향을 분리하기 위해, 동일한 혼합 성별 테스트 세트에서 혼합 훈련 모델과 성별 특화 모델 간 비교 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 훈련 데이터의 불균형이 인공지능 기반 자동 채점 시스템에서 측정 가능한 성별 편향을 유발하는가?
• RQ2 혼합 성별 훈련 모델은 성별 특화 모델과 비교해 평균 점수 격차(MSG)와 공정성 측면에서 어떻게 다를까?
• RQ3 혼합 훈련 모델과 단일 성별 훈련 모델 간, 등가된 오차(EO)로 측정한 모델의 공정성은 어느 정도로 다를까?
• RQ4 균형 잡힌 훈련 데이터가 인공지능 생성 채점 결과의 성별 격차를 감소 또는 제거할 수 있는가?
• RQ5 인공지능 채점 시스템의 성별 편향은 주로 데이터 불균형 때문이냐, 모델 아키텍처 때문인가?

주요 결과

• 혼합 훈련 모델은 남성 및 여성 응답 간 유의미한 채점 정확도 차이가 없었으며, 이는 성별 편향이 거의 없음을 시사한다.
• 혼합 훈련 모델은 인간 평가 점수와 비교해 더 낮은 평균 점수 격차(MSG)를 기록하여 성별 격차가 성별 특화 모델보다 감소한 것으로 나타났다.
• 혼합 훈련 모델의 등가된 오차(EO) 값은 성별 특화 모델보다 일관되게 낮았으며, GPT-3.5의 경우 0.061, BERT의 경우 0.067로 나타났다. 이는 더 높은 공정성을 의미한다.
• 성별 특화 모델(예: 남성 전용 또는 여성 전용 훈련)은 더 높은 MSG와 EO 값을 보였으며, 이는 격차 증가와 공정성 감소를 의미한다.
• BERT의 경우 남성 전용 모델의 EO는 0.107, 여성 전용 모델의 EO는 0.074였으며, 이는 혼합 모델의 0.067보다 높았다.
• GPT-3.5의 경우 혼합 모델의 EO는 0.061이었고, 남성 전용 및 여성 전용 모델은 각각 0.076와 0.074였으며, 이는 혼합 훈련이 공정성 측면에서 유의미한 이점을 가짐을 확인한다.