[논문 리뷰] Certifying Some Distributional Fairness with Subpopulation Decomposition

Mintong Kang, Linyi Li외 4명|arXiv (Cornell University)|2022. 05. 31.

Health Systems, Economic Evaluations, Quality of Life인용 수 4

한 줄 요약

이 논문은 학습 분포로부터 헬링거 거리로 제한된 공정성 제약이 가해진 분포에서 예측 손실의 상한을 구하여 엔드 투 엔드의 공정성을 인증하는 새로운 프레임워크를 제안한다. 하위집단 분해와 볼록 최적화를 활용하여 기본 빈도 제약 조건 하에서 모델 손실의 날카운 상한을 계산하며, 기존의 분포로버스트 기법보다 더 날카운 상한을 제공하고, 민감한 및 일반적인 분포 이탈이 발생하는 여섯 개의 실세계 데이터셋에서 효과를 검증한다.

ABSTRACT

Extensive efforts have been made to understand and improve the fairness of machine learning models based on observational metrics, especially in high-stakes domains such as medical insurance, education, and hiring decisions. However, there is a lack of certified fairness considering the end-to-end performance of an ML model. In this paper, we first formulate the certified fairness of an ML model trained on a given data distribution as an optimization problem based on the model performance loss bound on a fairness constrained distribution, which is within bounded distributional distance with the training distribution. We then propose a general fairness certification framework and instantiate it for both sensitive shifting and general shifting scenarios. In particular, we propose to solve the optimization problem by decomposing the original data distribution into analytical subpopulations and proving the convexity of the subproblems to solve them. We evaluate our certified fairness on six real-world datasets and show that our certification is tight in the sensitive shifting scenario and provides non-trivial certification under general shifting. Our framework is flexible to integrate additional non-skewness constraints and we show that it provides even tighter certification under different real-world scenarios. We also compare our certified fairness bound with adapted existing distributional robustness bounds on Gaussian data and demonstrate that our method is significantly tighter.

연구 동기 및 목표

• 엔드 투 엔드 머신러닝 모델에 대한 공정성 인증을 정의하고 계산하여, 공정성 제약이 가해진 테스트 분포에서의 최악의 성능 상한을 보장한다.
• 학습 데이터에 편향이나 분포 이탈이 존재할 수 있는 고위험 분야의 머신러닝 응용에서 공정성 인증의 부재를 해결한다.
• 기본 빈도 조건과 같은 공정성 제약 조건을 통합하고, 추가로 비편향성 제약 조건을 지원하는 유연한 프레임워크를 제공한다.
• 공정성 제약 조건을 통합하여 기존의 분포로버스트 상한을 향상시키고, 더 날카운 인증을 달성한다.
• 민감한 및 일반적인 분포 이탈 상황에서 다양한 실세계 데이터셋을 대상으로 프레임워크의 날카운성과 실용성을 검증한다.

제안 방법

• 공정성 제약 조건이 가해진 분포에서의 최악의 예측 손실 상한을 계산하기 위해, 학습 분포로부터 헬링거 거리로 제한된 분포 내에서 최악의 손실을 최소화하는 제약 최적화 문제로 공정성 인증을 정식화한다.
• 기본 빈도 공정성 제약 조건을 표현하기 위해 민감한 특성과 레이블 기반으로 학습 및 테스트 분포를 하위집단으로 분해한다.
• 민감한 특성 이탈 상황에서 결과로 나오는 저차원 최적화 문제의 볼록성을 증명하여, 볼록 최적화를 통해 효율적으로 해결할 수 있도록 한다.
• 일반적인 이탈 상황에서는 분할 정복 전략을 적용하여 가용 영역을 분할하고, 증명된 볼록성을 가진 완화된 부분 문제를 해결한다.
• 분포 이탈을 제한하기 위해 헬링거 거리를 산란 측정으로 사용하여, 어떤 블랙박스 모델에도 일반화 가능하다.
• 레이블이나 민감한 특성에 대한 추가적인 비편향성 제약 조건을 통합하여 공정성 인증의 날카움을 더욱 향상시킨다.

실험 결과

연구 질문

• RQ1 제한된 분포 이탈 범위 내에서 공정성 제약 조건이 가해진 상황에서 모델 예측 손실의 공식화된 상한을 정의하고 계산할 수 있는가?
• RQ2 하위집단 분해가 민감한 및 일반적인 분포 이탈 상황에서 볼록 최적화와 날카운 공정성 인증을 어떻게 가능하게 하는가?
• RQ3 레이블이나 민감한 특성에 대한 비편향성 제약 조건을 통합하면 공정성 인증의 날카움이 향상되는가?
• RQ4 유사한 조건에서 기존의 분포로버스트 상한과 비교해 본다면, 제안된 프레임워크는 얼마나 날카운가?
• RQ5 공정성 인증이 실제 모델의 공정성 수준을 신뢰할 수 있는 지표로 작용할 수 있는가?

주요 결과

• 제안된 프레임워크는 공정성 제약 조건을 통합할 경우 기존의 분포로버스트 상한보다 유의미하게 날카운 공정성 인증을 달성한다.
• 민감한 이탈 상황에서는 인증이 날카롭고, 테스트된 모든 헬링거 거리 수준에서 최악의 손실을 일관되게 상한으로 묶는다.
• 일반적인 이탈 상황에서는 분포 이탈이 증가할수록 점진적으로 증가하는 비어 있지 않은 손실 상한을 제공한다.
• 레이블이나 민감한 특성에 대한 비편향성 제약 조건을 추가하면, 평가된 모든 데이터셋에서 더 날카운 공정성 인증을 얻을 수 있다.
• 공정성 인증은 실제 모델의 공정성과 강하게 상관된다: 완전히 공정한 모델은 Adult, Compas, Health, Law School 데이터셋에서 항상 비공정(기본형) 모델보다 낮은 공식화된 손실을 기록한다.
• Adult 데이터셋에서 일반적인 이탈 상황 하에서, 기본형 모델의 공식화된 손실은 ρ=0.1일 때 0.274에서 ρ=0.5일 때 0.828로 증가하며, 공정한 모델의 손실은 0.266에서 0.824로 증가한다. 이는 인증이 상대적인 공정성 수준을 반영하고 있음을 보여준다.