[논문 리뷰] Chasing Fairness Under Distribution Shift: A Model Weight Perturbation Approach

Zhimeng Jiang, Xiaotian Han외 5명|arXiv (Cornell University)|2023. 03. 06.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 분포 이탈 상황에서 공정성을 보장하기 위해 그룹 내 최악의 모델 가중치 변동에 대한 강건성을 확보하는 모델 가중치 변동 방식인 강건한 공정성 정규화(RFR)를 제안한다. 이 방법은 기준선 대비 합성 및 실제 분포 이탈 상황에서 더 나은 공정성-정확도 트레이드오프를 달성하며, 분포 이탈과 모델 가중치 변동 간 이론적 등가성을 바탕으로 한다.

ABSTRACT

Fairness in machine learning has attracted increasing attention in recent years. The fairness methods improving algorithmic fairness for in-distribution data may not perform well under distribution shifts. In this paper, we first theoretically demonstrate the inherent connection between distribution shift, data perturbation, and model weight perturbation. Subsequently, we analyze the sufficient conditions to guarantee fairness (i.e., low demographic parity) for the target dataset, including fairness for the source dataset, and low prediction difference between the source and target datasets for each sensitive attribute group. Motivated by these sufficient conditions, we propose robust fairness regularization (RFR) by considering the worst case within the model weight perturbation ball for each sensitive attribute group. We evaluate the effectiveness of our proposed RFR algorithm on synthetic and real distribution shifts across various datasets. Experimental results demonstrate that RFR achieves better fairness-accuracy trade-off performance compared with several baselines. The source code is available at \url{https://github.com/zhimengj0326/RFR_NeurIPS23}.

연구 동기 및 목표

• 의료 및 범죄 정의와 같이 고위험 응용 분야에서 분포 이탈 상황에서의 공정성 저하 문제를 해결하기 위해.
• 손실 값 측면에서 분포 이탈, 데이터 변동, 모델 가중치 변동 간의 이론적 등가성을 수립하기 위해.
• 원천 분포에서 목표 분포로의 공정성 전이 가능성에 충분한 조건을 규명하기 위해, 특히 민감 그룹 간 예측 차이에 중점을 두고.
• 각 민감 속성 그룹에 대해 최악의 모델 가중치 변동 상황에서도 공정성을 명시적으로 강제하는 강건한 공정성 정규화(RFR) 방법을 개발하기 위해.
• 배포 후 데이터 분포가 변화하는 실제 환경에서 공정 모델의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 모든 모델 아키텍처와 손실 함수에 대해 손실 등가성을 보여줌으로써, 분포 이탈이 모델 가중치 변동과 이론적으로 동치임을 이론적으로 증명한다.
• 각 민감 그룹 내에서 구의 내부 최악의 모델 가중치 변동을 최적화하는 정규화 기법으로 RFR를 제안하여 강건한 공정성을 확보한다.
• RFR의 내부 최대화 문제를 일阶 테일러 전개로 근사화하여, 각 업데이트당 두 번의 전방 및 역방향 전파만으로도 효율적인 계산을 가능하게 한다.
• RFR 손실을 학습 목표에 통합하여 분포 이탈 상황에서 정확도와 공정성 강건성을 동시에 최적화한다.
• 모델 가중치 변화를 통한 분포 이탈이 공정성에 미치는 영향을 명시적으로 모델링하는 변동 기반 공식을 사용한다.
• 다양한 데이터셋에 대해 합성 및 실제 분포 이탈을 적용하여 강건성 검증을 수행한다.

실험 결과

연구 질문

• RQ1 손실 등가성 측면에서 분포 이탈을 모델 가중치 변동과 공식적으로 연결할 수 있는가?
• RQ2 분포 이탈 상황에서 원천 분포에서 목표 분포로의 공정성 전이 가능성에 충분한 조건은 무엇인가?
• RQ3 각 민감 그룹 내 최악의 모델 가중치 변동을 최적화함으로써 강건한 공정성을 달성할 수 있는가?
• RQ4 제안된 RFR 방법은 분포 이탈 상황에서 기존 공정성 기준선 대비 공정성-정확도 트레이드오프에서 어떻게 비교되는가?
• RQ5 RFR 방법은 합성 및 실제 분포 이탈 모두에서 공정성 성능을 유지하는가?

주요 결과

• 논문은 분포 이탈과 모델 가중치 변동 간 이론적 등가성을 확립하여, 어떤 분포 이탈이라도 손실 값을 유지하는 모델 가중치 변동으로 표현될 수 있음을 보여준다.
• RFR는 합성 및 실제 분포 이탈이 모두 포함된 다양한 데이터셋에서 기준선보다 더 나은 공정성-정확도 트레이드오프를 달성한다.
• 원천 모델이 이미 공정하더라도, RFR는 분포 이탈 상황에서도 낮은 민감성 평등성 불균형을 효과적으로 유지한다.
• 실험 결과, 하이퍼파rameter λ가 공정성-정확도 트레이드오프를 효과적으로 제어할 수 있으며, 중간 정도의 λ 값에서 최적의 성능을 달성함을 확인했다.
• RFR의 내부 최대화 문제에 대한 일阶 근사화는 각 업데이트당 두 번의 전방 및 역방향 전파만으로도 효율적인 학습을 가능하게 하여, 이론적 확장성을 확보한다.
• 실험 결과, 각 민감 그룹의 원천 및 목표 분포 간 예측 차이가 공정성 전이 가능성의 핵심 요소임을 확인했다.