[논문 리뷰] Tackling Algorithmic Bias in Neural-Network Classifiers using Wasserstein-2 Regularization

Laurent Risser, Sanz, Alberto Gonzalez외 2명|arXiv (Cornell University)|2019. 08. 15.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 민감한 하위군 간 예측 오차의 격차를 억제함으로써 신경망 이미지 분류기에서의 알고리즘 편향을 줄이기 위해 워샤르슈타인-2 정규화 방법을 제안한다. 이 방법은 아키텍처에 종속되지 않으며 대규모 데이터셋에 스케일이 잘 되어 있으며, Gâteaux 도함수를 사용하여 공정성 제약 조건을 효율적으로 역전파한다. 최적의 설정 시 예측 정확도 손실이 최소화되면서도 공정성 지표(DI > 0.8)가 크게 향상된다.

ABSTRACT

The increasingly common use of neural network classifiers in industrial and social applications of image analysis has allowed impressive progress these last years. Such methods are however sensitive to algorithmic bias, i.e. to an under- or an over-representation of positive predictions or to higher prediction errors in specific subgroups of images. We then introduce in this paper a new method to temper the algorithmic bias in Neural-Network based classifiers. Our method is Neural-Network architecture agnostic and scales well to massive training sets of images. It indeed only overloads the loss function with a Wasserstein-2 based regularization term for which we back-propagate the impact of specific output predictions using a new model, based on the Gateaux derivatives of the predictions distribution. This model is algorithmically reasonable and makes it possible to use our regularized loss with standard stochastic gradient-descent strategies. Its good behavior is assessed on the reference Adult census, MNIST, CelebA datasets.

연구 동기 및 목표

• 감정 인식 작업과 같이 민감한 하위군 간 예측 오차 또는 출력이 체계적으로 왜곡되는 깊이 신경망 분류기에서 알고리즘 편향을 해결하기 위해.
• 어떤 신경망 아키텍처와도 호환되며 대규모 이미지 데이터셋에 효율적으로 스케일링 가능한 공정성 정규화 방법을 개발하기 위해.
• 예측 분포의 Gâteaux 도함수를 활용한 새로운 기울기 근사 방법을 통해 공정성 제약 조건을 효과적으로 역전파할 수 있도록 하기 위해.
• 기본 데이터셋(Adult, MNIST, CelebA)에서의 실증적 검증을 통해 예측 성능에 큰 손실 없이 공정성 향상을 입증하기 위해.

제안 방법

• 민감 변수에 의해 정의된 두 하위군 간 예측 오차 분포 간 워샤르슈타인-2 거리에 기반한 공정성 페널티 항을 도입한다.
• 워샤르슈타인-2 페널티의 기울기를 분석적으로 근사하기 위해 Gâteaux 도함수를 사용하여 확률적 경사 하강법에서 효율적인 역전파를 가능하게 한다.
• 민감한 하위군 간 유사한 예측 오차를 유도하기 위해 표준 손실 함수에 가중치가 부여된 정규화 항을 추가로 수정한다.
• 대규모 데이터셋에서의 학습 동안 계산 효율성을 유지하기 위해 워샤르슈타인-2 거리의 미니배치 추정을 사용한다.
• 이를 바이너리 및 다중 분류 작업에 적용하며, 향후 작업으로서 회귀 및 비이진 출력으로의 확장을 고려한다.
• 공정성 지표인 불균형 지수(DI)와 평균 제곱 오차(MSE)를 사용하여 CelebA, MNIST, Adult 데이터셋에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 표준 딥러닝 학습 파이프라인에 워샤르슈타인-2 기반 정규화 항을 효과적으로 통합하여 이미지 분류기의 알고리즘 편향을 줄일 수 있는가?
• RQ2 제안된 방법은 민감한 하위군 간 공정성(DI로 측정)과 예측 정확도(MSE로 측정)를 균형 있게 유지하는 데 얼마나 효과적인가?
• RQ3 수백만 건의 샘플을 포함하는 대규모 이미지 데이터셋에 적용했을 때, 이 방법이 얼마나 스케일이 잘 되어 있고 효율적인가?
• RQ4 정규화 가중치 λ의 선택이 공정성과 모델 정확도 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ5 이 방법은 인구 통계적 불균형(예: 얼굴 특징에서의 인종적 불균형)과 같은 기저 데이터 분포와 일치하는 일관되고 해석 가능한 공정성 향상을 제공할 수 있는가?

주요 결과

• 정규화 가중치 λ가 [3.5e-3, 5.5e-3] 범위로 설정될 경우, 불균형 지수(DI)가 0.8 이상이면서 예측 정확도 손실이 최소화된다.
• λ > 6e-3일 경우 모델이 불안정해지며 MSE가 증가하고 공정성 지표가 진동함을 보여, 최적의 트레이드오프 창이 존재함을 시사한다.
• λ ≈ 4.5e-3일 경우 공정한 결과(DI > 0.8)를 도출하지만 MSE가 높아지므로, 정확도보다 공정성을 우선시할 경우 성능 트레이드오프가 발생함을 나타낸다.
• 정규화 방법은 예측을 재가중시키며, 특히 노인층에서 안경 착용자 및 어두운 피부 톤을 가진 사람들의 매력도 점수를 높여 훈련 데이터 분포와 일치시킨다.
• λ > 5e-3일 경우 좋은 예측 비율(GP0/GP1)이 1에 가까워지며, 하위군 간 오류율이 균형을 이루고 있음을 나타낸다.
• 이 방법은 노인층에서 안경 착용 빈도가 높고 남성 비율이 높은 등의 인구 통계적 불균형을 시정함으로써 CelebA 데이터셋에서 편향을 효과적으로 줄였다.