[논문 리뷰] Learning Non-Discriminatory Predictors

Blake Woodworth, Suriya Gunasekar외 2명|arXiv (Cornell University)|2017. 02. 20.

Face and Expression Recognition인용 수 124

한 줄 요약

본 논문은 보호 속성에 대해 equalized odds를 만족하는 학습 예측기를 분석하고, post-hoc corrections가 비최적일 수 있음을 보이며, two-step learning 접근법의 통계적 최적성을 입증하지만 relaxations 없이 계산적 난해함을 보인다; 그 후 tractable 학습을 위한 두 번째 모먼트 릴렉세이션(equalized correlations)을 제안한다.

ABSTRACT

We consider learning a predictor which is non-discriminatory with respect to a "protected attribute" according to the notion of "equalized odds" proposed by Hardt et al. [2016]. We study the problem of learning such a non-discriminatory predictor from a finite training set, both statistically and computationally. We show that a post-hoc correction approach, as suggested by Hardt et al, can be highly suboptimal, present a nearly-optimal statistical procedure, argue that the associated computational problem is intractable, and suggest a second moment relaxation of the non-discrimination definition for which learning is tractable.

연구 동기 및 목표

• 감독된 학습에서 보호 속성 A에 대해 non-discrimination을 equalized odds로 동기화하고 형식화한다.
• 사후 보정 방법이 non-discrimination을 달성하는 데 한계를 보임을 보인다.
• finite 샘플로부터 non-discriminatory predictor를 생성하기 위한 통계적으로 최적의 학습 프레임워크를 개발한다.
• 정확한 non-discriminatory predictor를 학습하는 것이 계산적으로 불가능함을 보여주고, tractable relaxation을 확인한다.

제안 방법

• equalized odds를 정의하고 binary 설정에서 그룹-조건부 true/false positive rate와의 관계를 밝힌다.
• 0-1, hinge, 제곱 손실 및 제한된 가설 클래스에서 post-hoc correction의 비최적성을 보인다.
• 두 단계 학습 프레임워크를 제안한다: 1단계에서 approximate non-discrimination 제약 조건을 포함한 empirical risk minimizer를 학습; 2단계에서 후처리 보정을 적용해 non-discriminatory predictor를 도출한다.
• 두 단계 프레임워크에 대한 통계적 보장을 제시한다: 손실에 대한 finite-sample 보장과 discrimination에 대한 보장; 두 번째 단계에서 가설 클래스에 대한 의존성 제거.

실험 결과

연구 질문

• RQ1 사후 보정이 일반적인 손실 및 가설 클래스에 걸쳐 실제로 non-discriminatory predictor에 비해 어떻게 수행되는가?
• RQ2 finite-sample 학습 절차가 equalized odds 하에서 approximate non-discrimination을 강제하면서 거의 최적의 정확도를 달성할 수 있는가?
• RQ3 non-discriminatory 이진 predictor를 학습하는 것이 계산적으로 feasible한가, 아니라면 어떤 relaxations가 tractable 학습을 가능하게 하는가?
• RQ4 먼저 approximate non-discrimination을 강제하고 그 후 predictor를 보정하는 두 단계 프레임워크의 통계적 보장은 무엇인가?
• RQ5 두 번째 모먼트 릴렉세이션(equalized correlations)이 Gaussian 가정 하에서 squared loss에 대해 equalized odds와 discrimination 및 학습 성능 면에서 어떤 차이가 있는가?

주요 결과

• 사후 보정은 0-1, hinge, 그리고 제곱 손실 하에서도 discrimination 제약 하에 매우 비최적일 수 있다.
• finite 데이터로부터 non-discriminatory predictor를 학습하려면 학습 과정에 non-discrimination을 포함해야 하며, 사후 처리만으로는 부족하다.
• 두 단계 학습 절차는 finite-sample 보장과 함께 손실을 거의 최적화하고 discrimination을 제어하지만, exact non-discriminatory binary predictor의 경우 계산적으로 어렵다.
• 두 번째 모먼트 조건(equalized correlations)으로의 완화는 convex 손실과 선형 예측기에 대해 학습을 tractable하게 만들고, squared loss에 대해 Gaussian 가정 하에서 equalized odds와 동치가 된다.