[논문 리뷰] Approaching Machine Learning Fairness through Adversarial Network

Xiaoqian Wang, Heng Huang|arXiv (Cornell University)|2019. 09. 06.

Ethics and Social Impacts of AI참고 문헌 15인용 수 8

한 줄 요약

이 논문은 데이터 표현과 모델 예측을 동시에 최적화함으로써 기계 학습의 공정성을 향상시키는 새로운 적대적 네트워크 프레임워크 FAIAS를 제안한다. 민감한 특성의 영향을 최소화하기 위해 특성 샘플링과 적대적 훈련을 사용함으로써, FAIAS는 세 가지 기준 데이터셋에서 공정성 지표와 예측 정확도 면에서 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

Fairness is becoming a rising concern w.r.t. machine learning model performance. Especially for sensitive fields such as criminal justice and loan decision, eliminating the prediction discrimination towards a certain group of population (characterized by sensitive features like race and gender) is important for enhancing the trustworthiness of model. In this paper, we present a new general framework to improve machine learning fairness. The goal of our model is to minimize the influence of sensitive feature from the perspectives of both the data input and the predictive model. In order to achieve this goal, we reformulate the data input by removing the sensitive information and strengthen model fairness by minimizing the marginal contribution of the sensitive feature. We propose to learn the non-sensitive input via sampling among features and design an adversarial network to minimize the dependence between the reformulated input and the sensitive information. Extensive experiments on three benchmark datasets suggest that our model achieve better results than related state-of-the-art methods with respect to both fairness metrics and prediction performance.

연구 동기 및 목표

• 범죄 사법 및 신용 평가와 같은 고위험 분야에서 기계 학습 모델의 편향과 차별 문제에 대한 우려가 증가하고 있는 데에 대응한다.
• 기존의 공정성 방법들이 데이터 또는 모델 관점만 최적화함으로써 예측 성능이 저하될 수 있는 한계를 극복한다.
• 데이터 입력 수준에서 민감한 특성의 영향을 동시에 줄이고, 모델 예측에서 그 영향의 경계 기여도를 최소화하는 통합 프레임워크를 개발한다.
• 적대적 훈련을 통해 데이터와 모델 최적화를 연결함으로써, 공정성 향상에 성능 저하 없이 달성한다.

제안 방법

• 두 구성 요소로 이루어진 적대적 프레임워크를 제안: 비민감 특성을 학습하여 샘플링하는 선택기 함수와 민감 특성의 경계 기여도를 최소화하는 예측기.
• 학습된 중요도에 기반해 특성을 선택하면서도 데이터에 종속되지 않는, 미분 가능한 선택기 벡터 w = 1/(1+e^−θ)를 사용해 엔드 투 엔드 훈련을 가능하게 한다.
• 선택기를 적대적 손실을 통해 훈련하여 재구성된 입력과 민감 특성 간의 의존도를 최소화하고, 이를 측정하기 위해 구분기(discriminator)를 사용한다.
• 표준 교차 엔트로피 손실을 사용해 예측기를 최적화하면서, 민감 특성의 경계 기여도 제약 조건을 통해 공정성을 강제한다.
• 예측기로 4층 신경망을 사용하고, SELU 활성화 함수와 Adam 옵timizer를 적용하며, Keras/TensorFlow를 사용해 구현한다.
• 특성 정규화를 적용하고, 60/20/20 훈련/검증/테스트 분할을 5번의 랜덤 실행을 통해 반복하여 강력한 평가를 확보한다.

실험 결과

연구 질문

• RQ1 데이터 표현과 모델 예측을 동시에 최적화하는 통합 프레임워크가 예측 성능 저하 없이 공정성을 향상시킬 수 있는가?
• RQ2 적대적 훈련이 다양한 데이터셋에서 모델 예측에 대한 민감한 특성의 영향을 얼마나 효과적으로 줄일 수 있는가?
• RQ3 데이터와 모델 관점의 공동 최적화가 최신의 전처리, 내재, 후처리 방법보다 더 나은 공정성 지표를 제공하는가?
• RQ4 적대적 선택기로 수행하는 특성 샘플링이 예측 유틸리티를 유지하면서 민감 정보를 얼마나 효과적으로 제거하는가?
• RQ5 실세계 데이터셋에서 다양한 공정성 지표(등비 기회, 평균 오차, Theil 지수)에 대해 제안된 방법이 공정성과 정확도 면에서 어떻게 비교되는가?

주요 결과

• FAIAS는 모든 세 가지 기준 데이터셋에서 가장 높은 분류 정확도와 균형 정확도를 기록하며, 베이스라인 및 네 가지 최신 기술(SOTA) 공정성 방법을 모두 능가한다.
• COMPAS 데이터셋에서 FAIAS는 절대 등비 기회 차이를 0.028로 줄여, 다른 방법들과 비교해 뚜렷이 향상된 공정성을 보였다.
• 은행 마케팅 데이터셋에서 FAIAS는 평균 오차 차이를 0.031로 최소화하여 연령대 간 그룹 공정성이 향상됨을 시사한다.
• FAIAS의 Theil 지수는 일관되게 0에 가까운 수준(예: COMPAS 데이터셋에서 0.012)을 유지하여 그룹 및 개인 공정성 지표에서 강력한 공정성을 나타낸다.
• FAIAS는 높은 예측 성능를 유지하면서도 최신 기술(SOTA) 수준의 공정성을 달성하여, 공정성 제약 조건이 모델 정확도를 저하시키지 않음을 입증한다.
• 적대적 특성 선택기가 입력 표현에서 민감 정보를 성공적으로 제거했음을 확인할 수 있었으며, 이를 뒷받침하는 바탕으로 재구성된 입력과 민감 특성 간의 의존도가 낮았다.