[논문 리뷰] Bayes-Optimal Classifiers under Group Fairness

Xianli Zeng, Edgar Dobriban외 1명|arXiv (Cornell University)|2022. 02. 20.

Ethics and Social Impacts of AI인용 수 5

한 줄 요약

이 논문은 뉴만-피어슨 보조정리와의 새로운 연결을 통해 군집 정의성 제약 조건 하에서 베이즈 최적 분류기 유도를 위한 통합 프레임워크를 제안한다. FairBayes는 군집 기반의 임계값 설정 방법으로, 분포 가정 없이 불균형 수준을 명시적으로 제어하여 최적의 정확도-정의성 트레이드오프를 달성하며, 다양한 데이터셋에서 기존 방법들보다 정확도, 정의성 제어 및 효율성 측면에서 뛰어난 성능을 보인다.

ABSTRACT

Machine learning algorithms are becoming integrated into more and more high-stakes decision-making processes, such as in social welfare issues. Due to the need of mitigating the potentially disparate impacts from algorithmic predictions, many approaches have been proposed in the emerging area of fair machine learning. However, the fundamental problem of characterizing Bayes-optimal classifiers under various group fairness constraints has only been investigated in some special cases. Based on the classical Neyman-Pearson argument (Neyman and Pearson, 1933; Shao, 2003) for optimal hypothesis testing, this paper provides a unified framework for deriving Bayes-optimal classifiers under group fairness. This enables us to propose a group-based thresholding method we call FairBayes, that can directly control disparity, and achieve an essentially optimal fairness-accuracy tradeoff. These advantages are supported by thorough experiments.

연구 동기 및 목표

• 일반적인 군집 정의성 제약 조건 하에서 베이즈 최적의 정의성 있는 분류기 유도를 위한 통합 이론적 프레임워크가 부족한 문제를 해결하기 위해.
• 최적의 분류기가 임의의 불균형 수준에 어떻게 의존하는지 명시적으로 모델링하여, 정의성 위반을 직접 제어할 수 있도록 하기 위해.
• 기존 연구를 확장하여 이전에 다루지 않은 정의성 측정법, 예를 들어 총 정확도 동일성에 대해 정의성 있는 베이즈 최적 분류기를 유도하기 위해.
• 특성의 분포 가정 없이 최적의 정의성-정확도 트레이드오프를 달성하는 실용적이고 효율적인 알고리즘(FairBayes)을 개발하기 위해.
• 이중 및 다중 클래스 보호 속성에 대해 실증적으로 방법을 검증하여, 정의성 제어, 정확도 및 계산 효율성 측면에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 최적의 가설 검정을 위한 뉴만-피어슨 논증을 활용하여, 정의성 있는 베이즈 최적 분류에 대한 통합 이론적 프레임워크를 유도한다.
• 사용자가 지정한 불균형 수준에 직접적으로 의존하는 군집별 임계값 규칙의 명시적이고 닫힌 형태의 표현식을 유도한다.
• 비제약 예측에 군집별 임계값을 적용하여 원하는 정의성 수준을 강제하는 후처리 방법인 FairBayes를 도입한다.
• 경계 케이스는 신중한 랜덤화를 통해 처리하여, 특성 분포가 정의성 경계에 정확히 위치해 있을 경우에도 최적의 성능을 확보한다.
• 실제로는 로지스틱 회귀를 사용하여 군집별 조건부 확률을 추정함으로써 확장 가능한 구현을 가능하게 한다.
• 민감도 분석을 위해 다중 클래스 보호 속성을 처리하기 위해, 불균형을 민감도 분석 지표인 인구 통계적 편차(Demographic Parity Deviation, DDP)로 측정하는 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 다양한 군집 정의성 제약 조건 하에서, 이전에 연구되지 않은 측정법(예: 총 정확도 동일성)을 포함하여 체계적으로 베이즈 최적 분류기를 유도할 수 있는 방법은 무엇인가?
• RQ2 최적의 분류기가 불균형 수준에 대해 명시적이고 직접적인 의존성을 가지며, 사용자가 정의성 목표를 직접 지정할 수 있도록 할 수 있는가?
• RQ3 기존의 정의성 학습 방법들과 비교하여 제안된 프레임워크는 정의성, 정확도 및 계산 효율성 측면에서 실제로 어떻게 성능을 내는가?
• RQ4 특성 분포 가정이 정의성 분류기의 최적성과 강건성에 어떤 영향을 미치는가?
• RQ5 이론적 최적성과 실용적 효율성을 유지하면서, 다중 클래스 보호 속성으로의 확장을 어떻게 수행할 수 있는가?

주요 결과

• FairBayes는 테스트된 모든 데이터셋에서 최적의 정의성-정확도 트레이드오프를 달성하였으며, 다중 클래스 보호 속성을 가진 Adult 데이터셋에서 정확도 0.831 (±0.001)를 기록했다.
• 이 방법은 불균형 수준(DDP)을 0.030 (±0.013)으로 줄였으며, KDE 기반 방법(0.039 ± 0.024)과 적대적 방법(0.221 ± 0.190)보다 뚜렷이 뛰어난 성능을 보였다.
• FairBayes는 정의성-정확도 트레이드오프 곡선을 생성하는 데 평균 57초가 소요되었으며, KDE 기반 및 적대적 기반 방법 대비 각각 197초 및 213초로 훨씬 빠른 속도를 기록했다.
• |A|=10인 합성 데이터에서 FairBayes는 정확도 0.615와 DDP 0.190을 달성했으며, 이는 이론적 최적의 정의성 베이즈 분류기(정확도 0.615, DDP 0.190)와 밀도 있게 일치했다.
• Adult 데이터셋에서 정확도의 표준편차가 0.001로 매우 낮아 성능 지표의 높은 안정성과 재현 가능성을 보였다.
• FairBayes는 제약이 없는 학습에서의 출력을 재사용하여 여러 정의성 기준 하에 정의성 있는 분류기를 효율적으로 생성할 수 있어, 다중 정의성 분석을 간편하게 수행할 수 있다.