[논문 리뷰] Detection and Mitigation of Bias in Ted Talk Ratings

Rupam Acharyya, Shouman Das외 3명|arXiv (Cornell University)|2020. 03. 02.

Benford’s Law and Fraud Detection참고 문헌 30인용 수 7

한 줄 요약

이 논문은 공정성 인식 기반 기계 학습을 사용하여 TED 강연 시청자 평가에서 암묵적 편향을 탐지하고 완화한다. 플랫폼의 포용성에 대한 약속에도 불구하고 인종과 성별이 평가에 상당한 영향을 미친다는 것을 입증한다. 사전 처리, 처리 중 처리, 사후 처리 기법—특히 Prejudice Remover 및 Disparate Impact 메트릭스를 적용하여, 편향을 체계적으로 감소시킬 수 있음을 보여주며, 처리 중 처리가 가장 효과적인 공정성 향상 결과를 얻는다.

ABSTRACT

Unbiased data collection is essential to guaranteeing fairness in artificial intelligence models. Implicit bias, a form of behavioral conditioning that leads us to attribute predetermined characteristics to members of certain groups and informs the data collection process. This paper quantifies implicit bias in viewer ratings of TEDTalks, a diverse social platform assessing social and professional performance, in order to present the correlations of different kinds of bias across sensitive attributes. Although the viewer ratings of these videos should purely reflect the speaker's competence and skill, our analysis of the ratings demonstrates the presence of overwhelming and predominant implicit bias with respect to race and gender. In our paper, we present strategies to detect and mitigate bias that are critical to removing unfairness in AI.

연구 동기 및 목표

• TED 강연 시청자 평가에서 암묵적 편향이 강연자의 인종과 성별에 의해 영향을 받는지 조사하기 위해.
• 최신 기술 기반의 공정성 메트릭스를 사용하여 공개 강연 평가의 불공정성 정도를 정량화하기 위해.
• 실제 사회 성과 데이터셋에 대해 사전 처리, 처리 중 처리, 사후 처리 전략을 평가하고 비교하기 위해.
• AI 기반 사회 평가 시스템에서 편향을 탐지하고 감소시키기 위한 체계적이고 재현 가능한 프레임워크를 제공하기 위해.
• 다양한 실생활 데이터셋에서 교차 편향을 다루는 데 있어 사후 처리의 한계를 부각하기 위해.

제안 방법

• TED 강연 평가 데이터셋에서 성별 및 인종 범주에 대해 Disparate Impact 공정성 메트릭을 계산하기 위해 AIF360 툴킷을 활용하였다.
• 모델 학습 이전에 훈련 데이터에서 지배적인 인종 편향을 제거하기 위해 사전 처리 기법을 적용하였다.
• 모델 학습 중 손실 함수에 공정성 정규화 항을 추가하는 Prejudice Remover 알고리즘을 통해 처리 중 처리를 수행하였다.
• 모델 추론 후 예측을 조정하기 위해 사후 처리 방법을 평가하여 보호 그룹 간 결과를 균형 있게 만들기를 목표로 하였다.
• 동일한 데이터셋에서 로지스틱 회귀 및 Prejudice Remover 모델을 학습하고 비교하여 공정성 향상 정도를 평가하였다.
• 다단계 완화 파이프라인을 사용: 먼저 사전 처리를 통해 인종 편향을 감소시키고, 이후 처리 중 처리를 통해 잔여 성별 편향을 감소시켰다.

실험 결과

연구 질문

• RQ1 강연의 내용 품질과는 별개로, TED 강연 평가는 강연자의 인종과 성별에 얼마나 영향을 받는가?
• RQ2 Disparate Impact 메트릭은 보호 대상 속성 간 사회적 성과 평가의 불공정성을 효과적으로 정량화할 수 있는가?
• RQ3 사전 처리, 처리 중 처리, 사후 처리 중 어느 완화 전략이 TED 강연 평가의 불공정성을 감소시키는 데 가장 효과적인가?
• RQ4 다양하고 실생활의 사회 평가 데이터에서 교차 편향을 수정하기 위해 사후 처리만으로는 충분한가?
• RQ5 특정 데이터셋에 지배적인 편향의 유형이 존재할 경우, 완화 기법 선택은 어떻게 달라지는가?

주요 결과

• 백인 남성 강연자는 일관되게 긍정적인 평가를 받는 반면, 다른 인종과 성별의 강연자는 혼합되고 변동성이 큰 평가를 받았으며, 이는 체계적 편향을 시사한다.
• 원본 데이터셋은 높은 Disparate Impact 값을 보이며, 특히 비백인 및 비남성 강연자에게서 심각한 불공정성이 존재함을 나타낸다.
• Prejudice Remover 모델(처리 중 처리)은 로지스틱 회귀보다 Disparate Impact 점수가 1에 더 가까워 성별 범주 전반에서 공정성이 향상됨을 보여준다.
• 사전 처리 기법은 지배적인 인종 편향을 효과적으로 감소시켜 모델 학습 이전의 공정성 메트릭을 향상시켰다.
• 사후 처리 방법은 공정성 향상에 의미 있는 기여를 하지 못했으며, 이는 예측 이후 깊이 뿌리내린 편향을 수정하는 데 한계가 있음을 시사한다.
• 본 연구는 완화 전략의 효과성이 데이터에 존재하는 편향의 유형과 계층적 구조에 매우 의존함을 입증한다.