[논문 리뷰] End-To-End Bias Mitigation: Removing Gender Bias in Deep Learning

Tal Feldman, Abigail Peake|arXiv (Cornell University)|2021. 04. 06.

Ethics and Social Impacts of AI참고 문헌 54인용 수 20

한 줄 요약

이 논문은 딥러닝 모델 내 성별 편향을 줄이기 위해 사전 처리, 내부 처리, 후처리 기법을 융합하는 엔드 투 엔드 편향 완화 프레임워크를 제안한다. Adult 데이터셋에서 평가한 결과, 개별 방법보다 공정성 지표에서 뛰어난 성능을 보이며 높은 정확도를 유지함으로써, 통합된 접근 방식이 성능을 희생시키지 않고도 더 강력한 공정성을 달성할 수 있음을 입증한다.

ABSTRACT

Machine Learning models have been deployed across many different aspects of society, often in situations that affect social welfare. Although these models offer streamlined solutions to large problems, they may contain biases and treat groups or individuals unfairly based on protected attributes such as gender. In this paper, we introduce several examples of machine learning gender bias in practice followed by formalizations of fairness. We provide a survey of fairness research by detailing influential pre-processing, in-processing, and post-processing bias mitigation algorithms. We then propose an end-to-end bias mitigation framework, which employs a fusion of pre-, in-, and post-processing methods to leverage the strengths of each individual technique. We test this method, along with the standard techniques we review, on a deep neural network to analyze bias mitigation in a deep learning setting. We find that our end-to-end bias mitigation framework outperforms the baselines with respect to several fairness metrics, suggesting its promise as a method for improving fairness. As society increasingly relies on artificial intelligence to help in decision-making, addressing gender biases present in deep learning models is imperative. To provide readers with the tools to assess the fairness of machine learning models and mitigate the biases present in them, we discuss multiple open source packages for fairness in AI.

연구 동기 및 목표

• 의료, 형사 사법, 채용과 같은 고영향도 분야에서 배포된 기계 학습 모델 내 성별 편향에 대한 우려가 증가하는 데 대응하기 위해.
• 기계 학습에서의 공정성 정의를 체계화하고 기존의 사전 처리, 내부 처리, 후처리 편향 완화 알고리즘을 검토하기 위해.
• 다양한 완화 전략을 통합하여 딥러닝에서의 공정성을 향상시키기 위한 새로운 엔드 투 엔드 프레임워크를 개발하고 평가하기 위해.
• 이전에 통계 모델에 적용된 공정성 기법들을 복잡하고 고차원적인 모델에 적용하기 위해 딥러닝 환경으로 확장하고 그 효과를 평가하기 위해.
• 편향 탐지 및 완화를 위한 오픈소스 도구를 검토하고 추천함으로써 공정성 연구의 접근성을 높이기 위해.

제안 방법

• 프레임워크는 사전 처리(예: 재가중, 적대적 탈편향), 내부 처리(예: 적대적 탈편향, 정확도 제약), 후처리(예: 임계값 최적화) 기법을 통합된 파이프라인으로 융합한다.
• 사전 처리는 모델 학습 이전에 훈련 데이터를 조정하여 인구 통계적 격차를 줄인다.
• 내부 처리는 학습 중에 학습 목표를 수정하여 공정성 제약을 강제한다. 예를 들어, 성별 관련 표현을 제거하기 위해 적대적 훈련을 통해 실현한다.
• 후처리는 추론 이후 모델 예측을 재조정하여 등가된 우도 및 평균 우도 차이와 같은 공정성 지표를 향상시킨다.
• 엔드 투 엔드 방법은 이 세 단계를 순차적으로 적용한다: 데이터 재가중, 적대적 정규화를 통한 공정한 훈련, 최종 임계값 조정.
• 프레임워크는 UCI Adult 데이터셋에 기반한 딥 네URAL 네트워크에서 평가되었으며, 공정성은 등가된 우도 차이, 평균 우도 차이, 통계적 평등성 차이를 통해 측정되었다.

실험 결과

연구 질문

• RQ1 사전 처리, 내부 처리, 후처리 기법을 통합한 엔드 투 엔드 접근 방식이 딥러닝에서 개별 방법보다 더 나은 공정성을 달성할 수 있는가?
• RQ2 다양한 완화 전략을 융합할 경우, 등가된 우도 차이 및 평균 우도 차이와 같은 공정성 지표는 어떻게 변화하는가?
• RQ3 원래 통계 모델을 위해 설계된 기존의 공정성 알고리즘이 딥 네URAL 네트워크에 성공적으로 적응 및 적용될 수 있는가?
• RQ4 편향 완화 기법의 융합이 모델 정확도를 유지하면서도 공정성을 크게 향상시킬 수 있는가?
• RQ5 오픈소스 공정성 도구는 실세계 기계 학습 응용 프로그램에서 편향 완화의 실질적 구현 및 평가를 어떻게 지원하는가?

주요 결과

• 사전 처리 + 내부 처리 + 후처리의 엔드 투 엔드 완화 모델은 등가된 우도 차이 및 평균 우도 차이 지표에서 모든 개별 방법보다 뛰어난 성능을 보였다.
• Pre + Post를 제외한 모든 융합 알고리즘은 0.81 이상의 정확도를 기록했으며, 엔드 투 엔드 모델는 공정성 향상에 기여하면서도 0.81의 정확도를 유지했다.
• 딥러닝 환경에서 단일 방법(사전 처리, 내부 처리, 후처리) 중 어느 하나도 세 가지 공정성 지표에서 모두 공정성을 달성하지 못했지만, 엔드 투 엔드 프레임워크는 모든 지표에서 공정성을 달성했다.
• 엔드 투 엔드 접근 방식은 각 구성 기법의 강점을 효과적으로 활용하여, 매우 정확하고 일관된 공정성을 갖춘 모델을 생성했다.
• 본 연구는 다양한 편향 완화 전략을 융합하는 것이 복잡한 실세계 응용 프로그램에서 더 공정한 딥러닝 모델을 구축하는 데 실현 가능하고 효과적인 길임을 입증한다.