[논문 리뷰] Fairness Transferability Subject to Bounded Distribution Shift

Yatong Chen, Reilly Raab외 2명|arXiv (Cornell University)|2022. 05. 31.

Health, Environment, Cognitive Aging인용 수 4

한 줄 요약

이 논문은 특정 이동 메커니즘이나 정의를 가정하지 않고, 유한한 분포 이동 하에서 기계 학습 예측 모델의 통계적 군 정의성의 이동 가능성에 대한 일반적인 프레임워크를 제안한다. 이는 다양한 분포 간의 정의성 위반에 대한 보편적인 상한을 도출하며, 실제 데이터와 결정론적 이동 모델에서 실증적으로 검증된다. 이는 사회적으로 중요한 응용 분야에서 잠재적으로 부정확한 배포를 조기에 탐지할 수 있게 한다.

ABSTRACT

Given an algorithmic predictor that is "fair" on some source distribution, will it still be fair on an unknown target distribution that differs from the source within some bound? In this paper, we study the transferability of statistical group fairness for machine learning predictors (i.e., classifiers or regressors) subject to bounded distribution shifts. Such shifts may be introduced by initial training data uncertainties, user adaptation to a deployed predictor, dynamic environments, or the use of pre-trained models in new settings. Herein, we develop a bound that characterizes such transferability, flagging potentially inappropriate deployments of machine learning for socially consequential tasks. We first develop a framework for bounding violations of statistical fairness subject to distribution shift, formulating a generic upper bound for transferred fairness violations as our primary result. We then develop bounds for specific worked examples, focusing on two commonly used fairness definitions (i.e., demographic parity and equalized odds) and two classes of distribution shift (i.e., covariate shift and label shift). Finally, we compare our theoretical bounds to deterministic models of distribution shift and against real-world data, finding that we are able to estimate fairness violation bounds in practice, even when simplifying assumptions are only approximately satisfied.

연구 동기 및 목표

• 기계 학습 예측 모델이 학습 데이터와 다를 수 있는 타겟 분포에 배포될 때 정의성 강건성 확보의 핵심적 격차를 해결하기 위해.
• 통계적 군 정의성으로 정의된 정의성 보장이 유한한 분포 이동으로 인해 얼마나 악화될 수 있는지 정량화하기 위해.
• 다양한 정의성 정의(예: 인구통계적 평등, 동일한 오dds) 및 이동 유형(예: 공변수 이동, 레이블 이동)에 적용 가능한 일반적이고 무지성인 상한을 개발하기 위해.
• 이동 메커니즘이 알려지지 않았거나 복잡한 경우에도 사전 배포 시 정의성 강건성 인증을 가능하게 하기 위해.
• 정확도 중심의 도메인 적응과 일반적으로 정적 분포를 가정하는 알고리즘 정의성 간의 격차를 메우기 위해, 불확실성 하에서 정의성 이동 가능성에 집중하기 위해.

제안 방법

• 알려진 제약 조건 내에서 이동을 적대적 요소로 간주하면서, 가능한 타겟 분포의 유한 도메인을 사용해 정의성 위반 이동 가능성에 대한 일반적인 상한을 수립한다.
• 두 가지 일반적인 정의성 정의인 인구통계적 평등(DP)과 동일한 오dds(EO) 및 두 가지 이동 유형인 공변수 이동과 레이블 이동에 이 상한을 적용한다.
• 변동성 및 확률 이동 항을 사용해 전략적 반응과 레이블 복제 동역학 하에서 DP에 대한 구체적인 분석 상한을 유도한다.
• 벡터 공간 내 기하학적 및 내적 기반 분석을 통해 공변수 이동 하에서 진짜 양성률을 코사인 관계 기반의 각도에 따라 상한을 설정한다.
• H-분산과 조건부 확률 불변성을 사용해 다양한 분포 간의 정의성 지표 변화에 대한 상한을 유도한다.
• 이론적 상한을 결정론적 분포 이동 모델과 미국 인구 조사 데이터(2014–2018)를 사용해 실증적으로 검증한다. 이 데이터는 인구 및 소득 이동에 대해 분석된다.

실험 결과

연구 질문

• RQ1 원천 분포에서 학습된 예측 모델이 유한한 이동이 있는 타겟 분포에 적용될 때 통계적 군 정의성의 열악화를 어떻게 상한으로 제한할 수 있는가?
• RQ2 공변수 이동 및 레이블 이동과 같은 다양한 유형의 분포 이동 하에서 정의성 이동 가능성은 어떻게 변화하는가?
• RQ3 기본 이동 메커니즘 또는 군별 이동 매개변수에 대한 지식이 없이도 정의성 위반은 어느 정도 정량화할 수 있는가?
• RQ4 예를 들어 개인이 정책에 대응해 특징을 변경하는 전략적 행동이 있을 경우 정의성 상한은 어떻게 행동하는가?
• RQ5 기본 분포 이동이 알려진 실제 데이터에서 이론적 정의성 상한을 실질적으로 추정하고 검증할 수 있는가?

주요 결과

• 제안된 상한은 단순화된 가정이 근사적으로만 충족될 경우에도 분포 간 정의성 위반 이동 가능성의 정량화에 성공적으로 활용된다.
• 전략적 반응 하에서 인구통계적 평등의 경우, 정의성 위반 상한은 군별 변동성 항과 특징 이동 크기에 비례하며, τg(1−τg)와 M_g를 포함한 상한이 도출된다.
• 레이블 복제 동역학 하에서는 정의성 위반 상한이 군 비율의 절대적 변화와 예측 확률 비율에 의존하며, 실제 분포 이동에 대한 실용적 추정치를 제공한다.
• 공변수 이동의 경우, 참 양성률은 코사인 관계 기반 각도에 따라 상한이 설정되며, 최소 및 최대 각도에 의해 극값이 결정된다.
• 미국 인구 조사 데이터(2014–2018)를 활용한 실증 평가에서 정의성 위반은 정확도 저하와 함께 증가하는 경향을 보이며, 이는 모델의 실제 분포 이동 예측 능력을 검증한다.
• 이 프레임워크는 정의성 위반 상한이 허용 가능한 임계값을 초과할 경우를 경고함으로써 사전 배포 시 잠재적으로 부정확한 정책 적용을 탐지할 수 있게 한다.