[논문 리뷰] Preventing Fairness Gerrymandering: Auditing and Learning for Subgroup Fairness

Michael Kearns, Seth Neel외 2명|arXiv (Cornell University)|2017. 11. 14.

Ethics and Social Impacts of AI참고 문헌 11인용 수 303

한 줄 요약

본 논문은 풍부한 하위군 클래스에 걸친 부분군 공정성의 감사(auditing)와 학습을 형식화하고, 감사가 weak agnostic learning과 동등하다는 것을 증명하며, 공정한 분류기를 학습하기 위한 두 가지 수렴하는 게임 기반 알고리즘을 제시한다.

ABSTRACT

The most prevalent notions of fairness in machine learning are statistical definitions: they fix a small collection of pre-defined groups, and then ask for parity of some statistic of the classifier across these groups. Constraints of this form are susceptible to intentional or inadvertent "fairness gerrymandering", in which a classifier appears to be fair on each individual group, but badly violates the fairness constraint on one or more structured subgroups defined over the protected attributes. We propose instead to demand statistical notions of fairness across exponentially (or infinitely) many subgroups, defined by a structured class of functions over the protected attributes. This interpolates between statistical definitions of fairness and recently proposed individual notions of fairness, but raises several computational challenges. It is no longer clear how to audit a fixed classifier to see if it satisfies such a strong definition of fairness. We prove that the computational problem of auditing subgroup fairness for both equality of false positive rates and statistical parity is equivalent to the problem of weak agnostic learning, which means it is computationally hard in the worst case, even for simple structured subclasses. We then derive two algorithms that provably converge to the best fair classifier, given access to oracles which can solve the agnostic learning problem. The algorithms are based on a formulation of subgroup fairness as a two-player zero-sum game between a Learner and an Auditor. Our first algorithm provably converges in a polynomial number of steps. Our second algorithm enjoys only provably asymptotic convergence, but has the merit of simplicity and faster per-step computation. We implement the simpler algorithm using linear regression as a heuristic oracle, and show that we can effectively both audit and learn fair classifiers on real datasets.

연구 동기 및 목표

• 지수적으로 많은 하위집단에 대해 감사를 수행함으로써 공정성 게리맨더링을 피해야 할 필요성을 동기화한다.
• 보호된 그룹의 구조화된 클래스를 사용하여 하위집단 공정성을 형식화한다.
• 감사(auditing)와 weak agnostic learning 사이의 계산적 동등성을 확립한다.
• 하위집단에 대해 공정한 분류기 분포를 학습하기 위한 증명 가능한 수렴 알고리즘을 개발한다.
• Fictitious Play 알고리즘의 구현을 통해 실제 데이터 세트에서 실용적 효과를 입증한다.

제안 방법

• SP (statistical parity) 및 FP (false positive) 하위군 공정성을 G 클래스에 대해 정의한다.
• 관계된 분포 아래에서 SP/FP 공정성에 대한 D의 감사가 G의 weak agnostic learning과 동등함을 보인다.
• 학습자(Learner)와 감사자(Auditor) 사이의 두 사람 제로합 게임으로 하위군 공정성을 형식화하고, 최적응답 문제를 agnostic learning 또는 auditing 오라클로 감소시킨다.
• 다음 두 알고리즘을 도출한다: (i) Best-response Auditor를 갖춘 Follow the Perturbed Leader (FTPL)로 다항 시간 수렴을 보장하는 근사 내시 균형(Nash equilibrium)으로 수렴; (ii) 두 플레이어에 대해 Fictitious Play를 수행하되, 더 간단하고 빠른 각 스텝 계산과 점근적 수렴을 제공한다.
• Fictitious Play 변형을 회귀 기반 휴리스틱을 agnostic-learning 오라클 및 auditing 오라클로 사용하여 구현하고 실제 데이터에서 실용적 효과를 입증한다.

실험 결과

연구 질문

• RQ1 지수적으로 많은 하위집단에 대해 공정성 제약이 구조화된 보호 속성 클래스에 의해 정의될 때 이를 시행할 수 있는가?
• RQ2 하위군 공정성에 대한 감사(auditing)와 weak agnostic learning 간의 계산적 관계는 무엇인가?
• RQ3 하위집단 제약 하에서 분류기 분포가 공정하게 수렴하도록 하는 알고리즘을 설계할 수 있는가?
• RQ4 게임 이론적 형식이 하위군-공정 분류기 학습에 실용적이고 수렴하는 방법을 제공하는가?
• RQ5 많은 보호 속성을 가진 실제 데이터 세트에서 이 방법들의 성능은 어떠한가?

주요 결과

• SP 및 FP 하위군 공정성에 대한 감사(auditing)는 분포 P^D 하에서 G 하위군 클래스에 대해 weak agnostic learning과 계산적으로 동등하다.
• 최악의 경우의 비결정성은 존재하지만, 실제 데이터에서 학습(부스팅, 로지스틱 회귀, SVM 등)의 실용적 휴리스틱이 감사 문제를 해결할 수 있다.
• 두 가지 수렴 알고리즘이 제공된다: 다항 시간 FTPL 기반 방법으로 Best-response Auditor를 갖추고 근사 내시 균형으로 수렴, 그리고 더 간단하고 점근적으로 수렴하는 Fictitious-Play 방법.
• FTPL 알고리즘은 근사 내시 균형으로의 다항적 수렴 보장을 제공한다.
• Fictitious-Play 알고리즘은 실용적이며 18개의 보호 속성에 대한 선형-임계 하위군을 사용하여 실제 데이터에서 공정한 분류기를 효과적으로 감사하고 학습하는 것을 보여준다.
• 실험적 평가를 통해 비자명한 오차를 가진 하위군-공정 분류기 학습의 가능성을 실증한다.