[논문 리뷰] Training Well-Generalizing Classifiers for Fairness Metrics and Other Data-Dependent Constraints

Andrew Cotter, Maya R. Gupta외 6명|arXiv (Cornell University)|2018. 06. 29.

Explainable Artificial Intelligence (XAI)인용 수 49

한 줄 요약

논문은 데이터 의존적 제약(예: 공정성 메트릭)을 가진 분류기를 학습하기 위한 두 데이터셋, 프록시-라그랑지안 최적화 접근법을 제시하여 보지 않은 데이터에 대해 일반화가 더 잘 되도록 한다. 이 이론적 일반화 경계와 실용 알고리즘을 제공하며 실험으로 검증된다.

ABSTRACT

Classifiers can be trained with data-dependent constraints to satisfy fairness goals, reduce churn, achieve a targeted false positive rate, or other policy goals. We study the generalization performance for such constrained optimization problems, in terms of how well the constraints are satisfied at evaluation time, given that they are satisfied at training time. To improve generalization performance, we frame the problem as a two-player game where one player optimizes the model parameters on a training dataset, and the other player enforces the constraints on an independent validation dataset. We build on recent work in two-player constrained optimization to show that if one uses this two-dataset approach, then constraint generalization can be significantly improved. As we illustrate experimentally, this approach works not only in theory, but also in practice.

연구 동기 및 목표

• 데이터 의존적 제약(예: 공정성 또는 정책 주도 목표)을 가진 분류기 학습 동기를 부여한다.
• 모델 복잡도에 독립적으로 제약 일반화를 향상시키기 위한 두 데이터셋 프레임워크를 개발한다.
• 두 데이터셋 구성에서 최적성, 실행 가능성, 제약 일반화에 대한 이론적 경계를 제공한다.
• 수렴성과 일반화 보장을 갖춘 알고리즘(오라클 기반 및 그래디언트 기반)을 도입한다.
• 나눠진 학습 및 검증 데이터셋이 실무적으로 제약 일반화를 개선함을 경험적으로 시연한다.

제안 방법

• 문제를 학습 데이터에서 모델 매개변수를 최적화하는 한 플레이어와 검증 세트에서 제약을 강제하는 다른 플레이어가 있는 2인용 게임으로 모델링한다.
• theta-플레이어에 대한 surrogate 제약 손실을 사용하고 lambda-플레이어에 대해서는 원래 제약 손실을 사용하는 프록시-라그랑지안 형식을 사용한다.
• 학습 증거와 제약 강제에 사용되는 증거를 분리하기 위해 두 데이터셋 접근법을 사용한다: S(train)은 theta 최적화, S(val)은 lambda 최적화를 위한 분리된 증거가 학습과 제약 강제에 사용되도록 한다.
• 가깝게 평형에 근접한 해를 찾기 위한 discretization과 베이지안 최적화 오라클을 포함한 오라클 기반 알고리즘을 제공한다.
• 비판정성 가정하에서의 강한 볼록성 하에서 이산화 없이 실용적으로 구현 가능한 그래디언트 기반 알고리즘을 제공한다.
• 제약 일반화가 모델 복잡도보다 검증 세트에 의해 좌우된다는 일반화 경계를 도출한다.

실험 결과

연구 질문

• RQ1 제약 최적화 프레임워크 내에서 학습될 때 데이터 의존적 제약이 훈련 시점에서 평가 시점으로 얼마나 잘 일반화되는가?
• RQ2 독립된 두 데이터 세트를 통해 학습 및 제약 강제에 필요한 증거를 분리하면 모델 복잡도와 무관하게 제약 일반화를 개선할 수 있는가?
• RQ3 두 데이터셋 프록시-라그랑지안 접근법에 대한 이론적 최적성, 실행 가능성, 일반화 보장은 무엇인가?
• RQ4 오라클 기반 및 그래디언트 기반 알고리즘이 근사 최적성, 근사 실행 가능성 및 제약 일반화 측면에서 어떻게 성능을 보이는가?
• RQ5 두 데이터셋 접근법이 공정성 및 기타 데이터 의존적 제약에 대한 제약 일반화를 실제로 개선하는지 실험적으로 검증되는가?

주요 결과

• 두 데이터셋 프록시-라그랑지안 프레임워크가 하나의 데이터셋 접근법에 비해 제약 일반화를 크게 개선할 수 있다.
• 이산화된 오라클 기반 방법에 대해 학습 및 검증 일반화 오차에 연결된 최적성 및 실행 가능성에 대한 입증 가능한 경계가 존재한다.
• 강한 볼록성 하에서의 그래디언트 기반 알고리즘은 비슷한 근사 최적성 및 근사 실행 가능성 보장을 유지하면서도 실용적으로 구현 가능하다.
• 제약 일반화는 모델 복잡도와 무관하게 검증 세트에서 경계될 수 있으며, 이는 전통적인 함수 클래스 복잡도에 연결된 경과와 대조된다.
• 실험 결과는 이차 데이터셋 접근법이 이론이 보장하는 것 이상으로 제약 일반화를 실무에서 개선함을 시사한다.