[논문 리뷰] Empirical Risk Minimization under Fairness Constraints

Michele Donini, Luca Oneto외 3명|arXiv (Cornell University)|2018. 02. 23.

Ethics and Social Impacts of AI참고 문헌 42인용 수 88

한 줄 요약

이 논문은 Fair Empirical Risk Minimization (FERM) 프레임워크를 도입하여, 민감한 그룹 간 조건부 위험을 동등하게 만드는 공정성 제약 하에 분류기를 학습하고, 이론적 일관성 보장과 실용적인 커널/선형 구현을 제공합니다.

ABSTRACT

We address the problem of algorithmic fairness: ensuring that sensitive variables do not unfairly influence the outcome of a classifier. We present an approach based on empirical risk minimization, which incorporates a fairness constraint into the learning problem. It encourages the conditional risk of the learned classifier to be approximately constant with respect to the sensitive variable. We derive both risk and fairness bounds that support the statistical consistency of our approach. We specify our approach to kernel methods and observe that the fairness requirement implies an orthogonality constraint which can be easily added to these methods. We further observe that for linear models the constraint translates into a simple data preprocessing step. Experiments indicate that the method is empirically effective and performs favorably against state-of-the-art approaches.

연구 동기 및 목표

• 양성 라벨에 대해 민감한 그룹 간 조건부 위험을 동등하게 하는 공정성 제약을 동기 부여하고 형식화한다.
• 공정성 제약을 ERM에 통합한 Fair Empirical Risk Minimization (FERM) 프레임워크를 개발한다.
• FERM에 대한 이론적 위험 및 공정성 일관성 경계를 제공한다.
• 커널 방법(직교성 제약)으로의 공정성 제약과 선형 데이터 사전처리 단계로의 번역 방법을 보여준다.
• 다양한 데이터셋에서 최첨단 공정성 방법들에 비해 empirical적 효과를 입증한다.

제안 방법

• 그룹 간 양성 클래스 위험의 차이를 기반으로 한 ε-공정성 제약을 정의하고 이를 ERM에 삽입하여 Fair ERM (FERM)을 도출한다.
• FERM의 통계적 일관성을 확립하기 위한 위험 및 공정성 경계를 유도하고, 실용적 최적화를 위한 대체 가능한 볼록 근사에 대해 논의한다.
• 커널 방법으로 특화: 제약을 RKHS에서의 내적 bound로 표현하여 Constrained Tikhonov-regularized objective를 얻고 표준 SVM 유사 해법으로 해결 가능하다.
• 선형 모델의 경우 ε-공정성 제약이 차별적 방향을 제거하는 데이터 전처리 단계로 축소되어 공정성을 보장한다.
• 볼록 대근사 FERM 문제와 원래의 비볼록한 공정성 목표 간의 이론적 연결 고리를 제공하며, EO 공정성 간의 차이를 상한하는 조건 Δ̂를 포함한다.
• 실용적 검증 절차와 정확도와 DEO(인구통계/동등기회 측정) 간의 균형을 잡는 새로운 하이퍼파라미터 검증 접근법을 포함한다.

실험 결과

연구 질문

• RQ1 양성 클래스의 조건부 위험에 대한 경계로 Equal Opportunity 유사 공정성을 포착하는 공정성 제약을 formulate할 수 있는가?
• RQ2 공정성 제약을 ERM에 내장하면 표준 학습 가능성 가정 하에서 통계적으로 일관된 추정치를 얻을 수 있는가?
• RQ3 커널 방법 및 선형 전처리에서 공정성 제약을 어떻게 효율적으로 구현할 수 있으며, 이것이 볼록성 및 최적화에 어떤 함의를 갖는가?
• RQ4 볼록 대근사(hinge/linear 손실)와 비볼록한 공정성 목표 간의 근사 관계가 어떤 조건에서 잘 성립하는가?
• RQ5 제안된 방법이 벤치마크 데이터셋에서 정확도와 공정성(DEO) 측면에서 최첨단 방법들(Hardt, Zafar 등) 대비 어떤 성과를 보이는가?

주요 결과

• FERM은 여러 데이터셋에서 baselines에 비해 DEO를 크게 줄이면서도 경쟁력 있는 정확도를 달성한다.
• 적절한 ε̂를 사용하면 FERM 해가 샘플 크기가 커질수록 위험과 공정성 면에서 일관성을 갖는다는 이론적 결과(정리 1)가 제시된다.
• 볼록 대근사(힌지 손실)는 실용적인 최적화를 가능하게 하며, 검증 가능한 조건(Δ̂) 하에서 EO에 근접한 일치를 유지한다.
• 커널화된 설정에서 공정성 제약은 ε=0인 직교성 제약으로 바뀌어 표준 SVM 해법과의 통합이 가능하며, 선형 설정에서는 데이터 전처리 단계에 해당한다.
• 실험 결과는 공정 ERM이 5개 데이터셋 중 4개에서 공정성을 개선하고 다섯 번째에서도 경쟁력을 유지하며, 비슷한 정확도 조건에서 Hardt 및 Zafar와 같은 최첨단 방법들보다 종종 더 우수한 성능을 보인다.
• 이 방법은 Lasso와 같은 선형 모델로 일반화되어 희소성과 공정성을 제고한다.