[논문 리뷰] Improved Adversarial Learning for Fair Classification

L. Elisa Celis, Vijay Keswani|arXiv (Cornell University)|2019. 01. 29.

Ethics and Social Impacts of AI참고 문헌 32인용 수 27

한 줄 요약

이 논문은 수정된 경사 하강-상승 업데이트를 사용하는 다목적 최적화로 문제를 공식화하여, 공정 분류를 위한 향상된 적대적 학습 프레임워크를 제안한다. 이는 통계적 평등성과 거짓 발견률을 측정한 상태에서 최신 기술 수준의 공정성 성능를 달성하면서도 Adult 및 합성 데이터셋에서 정확도를 유지하거나 향상시키며, 수렴성과 공정성 트레이드오프에 대한 이론적 보장도 제공한다.

ABSTRACT

Motivated by concerns that machine learning algorithms may introduce significant bias in classification models, developing fair classifiers has become an important problem in machine learning research. One important paradigm towards this has been providing algorithms for adversarially learning fair classifiers (Zhang et al., 2018; Madras et al., 2018). We formulate the adversarial learning problem as a multi-objective optimization problem and find the fair model using gradient descent-ascent algorithm with a modified gradient update step, inspired by the approach of Zhang et al., 2018. We provide theoretical insight and guarantees that formalize the heuristic arguments presented previously towards taking such an approach. We test our approach empirically on the Adult dataset and synthetic datasets and compare against state of the art algorithms (Celis et al., 2018; Zhang et al., 2018; Zafar et al., 2017). The results show that our models and algorithms have comparable or better accuracy than other algorithms while performing better in terms of fairness, as measured using statistical rate or false discovery rate.

연구 동기 및 목표

• 실세계 응용에서 불공정한 결과를 초래할 수 있는 기계학습 분류기의 편향을 해결하기 위해.
• 공정성 지표에 특화된 적대자 모델을 도입하여 기존의 적대적 학습 방법의 공정성에 대한 개선을 위해.
• 가속 경사 하강법을 사용한 수정된 업데이트를 활용해 더 효율적이고 이론적으로 탄탄한 최적화 알고리즘을 개발하기 위해.
• 적대적 프레임워크를 더 나아가 거짓 발견률 평등성이라는 덜 다뤄진 공정성 지표를 지원하도록 확장하기 위해.
• 다목적 최적화 설정에서 수렴성과 공정성의 가격에 대한 이론적 분석을 제공하기 위해.

제안 방법

• 분류 손실과 공정성 적대자 손실을 균형 잡는 다목적 최적화 문제로 공정 분류를 공식화한다.
• 참고문헌 [34]에 영감을 얻은 수정된 경사 업데이트 규칙을 도입하여 수렴성과 안정성을 향상시킨다.
• 노이즈가 있는 경사 오라클을 사용하여 최적화 효율성을 향상시키기 위해 가속 경사 하강법을 활용한다.
• 분류기 출력과 레이블을 사용하여 민감 속성 값을 예측하는 공정성 적대자를 사용하며, 특정 공정성 지표에 맞게 조정된다.
• 통계적 평등성 또는 거짓 발견률 평등성을 강제하기 위해 공정성 손실에 정규화 항을 통합한다.
• 브레그만 발산과 미끄러움 가정을 사용하여 알고리즘의 이론적 수렴 한계를 유도한다.

실험 결과

연구 질문

• RQ1 어떻게 적대적 학습을 개선하여 분류에서 더 나은 공정성-정확도 트레이드오프를 달성할 수 있는가?
• RQ2 경사 업데이트 규칙에 어떤 수정이 가해지면 적대적 공정 학습에서 수렴성과 성능이 향상되는가?
• RQ3 적대적 프레임워크는 더 세밀한 공정성 지표인 거짓 발견률 평등성을 강제하기 위해 확장될 수 있는가?
• RQ4 모델에서 완벽한 공정성을 강제할 경우 이론적으로 공정성의 가격은 무엇인가?
• RQ5 제안된 방법의 성능는 다양한 공정성 지표에서 최신 기술 수준의 알고리즘과 비교해 실제로 어떻게 나타나는가?

주요 결과

• 제안된 알고리즘은 Adult 데이터셋에서 최신 기술 수준의 방법들과 비교해 유사하거나 더 높은 정확도를 달성하면서도 공정성 지표를 크게 향상시켰다.
• 민감 속성과 레이블 간의 높은 상관관계 조건에서도 [34]와 [32]보다 공정성에서 뛰어난 성능을 보였으며, 출력 실패가 전혀 없었다.
• 가속 경사 하강법과 함께 수정된 업데이트를 사용함으로써 수렴 속도가 빨라지고 학습이 더 안정적이게 되었으며, 특히 노이즈가 있는 경사 조건에서 두드러졌다.
• 이론적 분석 결과, 알고리즘이 (ε₁, ε₂)-해에 수렴하며 공정성과 분류 손실 간 격리에 대한 경계가 있음을 보였다.
• 프레임워크는 거짓 발견률 평등성으로 성공적으로 확장되었으며, 적대적 학습이 다양한 공정성 지표에 적응 가능함을 보여주었다.
• 실증 결과는 알고리즘의 성능가 하이퍼파rameter α의 변화에 대해 뛰어난 내성적 안정성을 보였음을 시사한다.