[논문 리뷰] Average Individual Fairness: Algorithms, Generalization and Experiments

Michael Kearns, Aaron Roth외 1명|arXiv (Cornell University)|2019. 05. 25.

Ethics and Social Impacts of AI참고 문헌 15인용 수 27

한 줄 요약

이 논문은 평균 개인 공정성(AIF)이라는 새로운 공정성 프레임워크를 소개한다. 이 프레임워크는 보호 그룹이 아닌 분류 작업의 분포에 대해 평균을 내어 개인 간 분류 오차율을 근사적으로 동일하게 만든다. AIF-Learn라는 오рак루 효율적인 알고리즘을 제안하며, 표준 학습 히우리스틱과 통합되며, 새로운 개인과 작업으로의 일반화를 증명하고, 시뮬레이션 및 실제 데이터에서의 효과성을 실증적으로 검증한다.

ABSTRACT

We propose a new family of fairness definitions for classification problems that combine some of the best properties of both statistical and individual notions of fairness. We posit not only a distribution over individuals, but also a distribution over (or collection of) classification tasks. We then ask that standard statistics (such as error or false positive/negative rates) be (approximately) equalized across individuals, where the rate is defined as an expectation over the classification tasks. Because we are no longer averaging over coarse groups (such as race or gender), this is a semantically meaningful individual-level constraint. Given a sample of individuals and classification problems, we design an oracle-efficient algorithm (i.e. one that is given access to any standard, fairness-free learning heuristic) for the fair empirical risk minimization task. We also show that given sufficiently many samples, the ERM solution generalizes in two directions: both to new individuals, and to new classification tasks, drawn from their corresponding distributions. Finally we implement our algorithm and empirically verify its effectiveness.

연구 동기 및 목표

• 보호 그룹에 대해 평균을 내는 통계적 공정성의 의미적 약점을 해결하여, 개인 수준의 보호를 제한적으로 제공하지만, 더 강력한 개인 수준의 보장을 제공한다.
• 공정성 척도나 데이터 분포에 대한 강력한 실현 가능성 가정이 필요한 개인 공정성의 구현 장벽을 극복한다.
• 사전 정의된 보호 그룹이나 강력한 가정에 의존하지 않고도 강력한 개인 수준의 의미를 제공하는 공정성 정의를 개발한다.
• 표준의 공정성 무관한 학습 히우리스틱과 통합 가능한 실용적이고 오라클 효율적인 학습 알고리즘을 설계한다.
• 새로운 개인과 새로운 분류 작업에 대한 AIF 솔루션의 이론적 일반화 보장을 확립한다.

제안 방법

• 분류 작업의 분포에 대해 오차율을 평균 내어 보호 그룹 없이도 개인 수준의 공정성을 보장하는 평균 개인 공정성(AIF)을 정의한다.
• 학습자와 공정성 강화 적대자 간의 이중자 게임으로 공정한 경험적 리스크 최소화 문제를 공식화하며, 표준 학습 오라클을 활용하기 위해 감소 기법을 사용한다.
• AIF-Learn를 제안하며, 공정성 오라클을 사용한 반복 최적화를 통해 공정성 제약 조건에 대한 학습자의 최적 반응(BEST)을 계산한다.
• 충분한 표본 추출 조건 하에서, 새로운 개인과 새로운 분류 작업으로의 일반화를 보여주는 일반화 프레임워크를 도입한다.
• Chernoff-Hoffding 경계를 사용해 경험적 공정성 제약 조건의 추정 오차를 통제하여 표본 변동성에 대한 강건성을 확보한다.
• 프레임워크를 잘못 양성 비율 공정성(FPAIF)으로 확장하고, 유사한 알고리즘과 일반화 정리도 제시한다.

실험 결과

연구 질문

• RQ1 보호 그룹이나 강력한 실현 가능성 가정에 의존하지 않고도 강력한 개인 수준의 의미를 제공하는 공정성 정의를 설계할 수 있는가?
• RQ2 표준 학습 오라클과 호환되며 효율적인 학습 알고리즘을 어떻게 설계할 수 있는가?
• RQ3 AIF 솔루션은 그 분포에서 샘플링된 새로운 개인과 새로운 분류 작업으로 일반화되는가?
• RQ4 AIF 프레임워크는 시뮬레이션 및 실제 데이터에서 기준 모델 대비 공정성-정확도 트레이드오프에서 성능이 뛰어나다는 것을 실증적으로 검증할 수 있는가?
• RQ5 AIF 프레임워크에서 공정성 위반, 표본 복잡도, 일반화 오차 간의 이론적 관계는 무엇인가?

주요 결과

• AIF 프레임워크는 분류 작업의 분포에 대해 오차율을 평균 내어 보호 그룹 기반의 공정성 정의가 지닌 함정을 피하면서도 개인 수준의 공정성을 성공적으로 달성한다.
• 시뮬레이션 데이터에서 AIF-Learn 알고리즘은 약 1,000회 반복(50,000회 오라클 호출) 내에 수렴하며, 실제 환경에서의 실용적 수렴을 보여준다.
• 시뮬레이션 데이터에서 AIF-Learn는 오차 최적화 모델과 무작위 분류를 혼합한 기준 모델보다 유의미하게 뛰어난 공정성-정확도 트레이드오프를 달성한다.
• 이론적 분석을 통해 충분한 표본 추출 조건 하에서 AIF 솔루션이 새로운 개인과 새로운 분류 작업으로 높은 확률로 일반화됨을 증명한다.
• Chernoff-Hoffding 불등식을 사용한 농도 부등식을 통해 공정성 제약 조건의 추정 오차가 높은 확률로 제어 가능함을 도출한다.
• 프레임워크는 잘못 양성 비율 공정성(FPAIF)으로 자연스럽게 확장되며, 동일한 알고리즘과 일반화 보장을 제공함으로써 광범위한 적용 가능성을 입증한다.