[논문 리뷰] SenSeI: Sensitive Set Invariance for Enforcing Individual Fairness

Mikhail Yurochkin, Yuekai Sun|arXiv (Cornell University)|2020. 06. 25.

Ethics and Social Impacts of AI참고 문헌 39인용 수 15

한 줄 요약

SenSeI는 운반 기반 정규화자를 통해 민감 집합 내에서 모델 예측의 불변성을 강제하는 분포적 개인 공정성 프레임워크를 제안한다. 이는 인증 가능한 공정한 모델의 효율적 훈련을 가능하게 한다. 이 방법은 소득 분류, 직업 예측, 유해 댓글 탐지와 같은 세 가지 실세계 기계학습 작업에서 더 나은 공정성 지표를 달성하면서도 강력한 일반화 능력과 공정성-정확도 트레이드오���의 유연성을 유지한다.

ABSTRACT

In this paper, we cast fair machine learning as invariant machine learning. We first formulate a version of individual fairness that enforces invariance on certain sensitive sets. We then design a transport-based regularizer that enforces this version of individual fairness and develop an algorithm to minimize the regularizer efficiently. Our theoretical results guarantee the proposed approach trains certifiably fair ML models. Finally, in the experimental studies we demonstrate improved fairness metrics in comparison to several recent fair training procedures on three ML tasks that are susceptible to algorithmic bias.

연구 동기 및 목표

• 기존 개인 공정성의 통계적 및 계산적 비가용성 문제를 해결하기 위해 분포적 변형을 제안하여 분석과 정규화에 더 적합한 형태로 재정의한다.
• 최적 운반 이론에 기반한 데이터 의존적 정규화자를 개발하여 민감 입력 쌍에 대해 모델 출력의 불변성을 강제한다.
• 정규화자를 최소화하면서도 표준 조건 하에서 수렴성과 일반화를 보장하는 효율적인 확률적 근사 알고리즘을 설계한다.
• 알고리즘 편향에 취약한 실세계 작업에서 접근법을 경험적으로 검증하여 성능 저하 없이 공정성을 향상시킴을 보여준다.
• 분포적 개인 공정성 강제가 그룹 공정성 지표에도 긍정적인 영향을 미쳐 더 넓은 강건성을 보임을 시사한다.

제안 방법

• Dwork 등(2012)의 원래 개인 공정성의 완화로, 입력 쌍 간의 유계 거리에 대해 최적 운반 문제를 정의한 분포적 개인 공정성(DIF)을 도입한다.
• 모든 연합 분포 Π에 대해 입력 거리가 유계이고 고정된 주변분포 PX를 갖는 조건 하에서, 예측 출력 거리의 기대값의 Supremum으로 정규화자 R(h)를 정의한다.
• 훈련 중 정규화자를 최소화하기 위해 확률적 근사 알고리즘을 사용하여 대규모 데이터셋에서도 효율적인 최적화를 가능하게 한다.
• 최적 운반 이론을 활용해 입력이 동일한 민감 집합에 속해도 다른 방식으로 처리되는 경우를 방지하기 위한 데이터 의존적 정규화자를 구성한다.
• 정규화자를 훈련 목표 함수에 페널티 항으로 적용하여, 초매개변수 ρ를 통해 공정성-정확도 트레이드오프를 제어할 수 있도록 한다.
• 민감 속성을 표현하는 유사도 메트릭을 학습하기 위해 이전 연구(Yurochkin 등, 2020)의 방법을 응용함으로써 공정성 강제력을 향상시킨다.

실험 결과

연구 질문

• RQ1 통계적으로 분석 가능하고 정규화에 적합한 분포적 개인 공정성의 형태를 정의할 수 있는가?
• RQ2 운반 기반 정규화자를 통해 민감 집합 내에서 모델 예측의 불변성을 강제하면서도 모델의 일반화 능력을 유지할 수 있는가?
• RQ3 제안된 SenSeI 방법이 실세계 기계학습 작업에서 최신 기준 대비 더 나은 개인 공정성 지표를 달성하는가?
• RQ4 SenSeI를 통한 개인 공정성 강제가 그룹 공정성 지표 향상에 얼마나 기여하는가?
• RQ5 정규화 강도 ρ를 통해 공정성-정확도 트레이드오프를 민감하게 제어할 수 있는가?

주요 결과

• Toxicity 및 Bios 데이터셋에서, 모든 정규화 강도에서 SenSeI는 CLP보다 낮은 CTF 스코어를 기록하여 성별 및 인종 변형에 대한 예측 일관성이 뛰어나다는 것을 시사한다.
• Adult 데이터셋에서 SenSeI는 TPR 갭 RMS를 0.035로 감소시키고 Gap ABS를 0.041로 낮춰 이전 방법들보다 그룹 공정성 지표에서 뛰어난 성능을 보였다.
• 이 방법은 SenSR(Yurochkin 등, 2020)와 달리 유연한 공정성-정확도 트레이드오프를 제공한다. 특히 ε=0일 때도 수평 결정 경계를 형성하여 적응 가능성에 제한을 둔다.
• 확률적 근사 알고리즘이 표준 조건 하에서 수렴하며, 이론적 보장에 따라 훈련된 모델은 잘 일반화됨을 보였다.
• DIF를 강제하면 세 가지 작업 전반에서 그룹 공정성 지표가 향상되며, 이는 개인 공정성 강제가 그룹 공정성에 긍정적인 연쇄 효과를 미친다는 것을 시사한다.
• 이 접근법은 이론적 보장 하에 인증 가능한 공정한 모델을 구축함으로써, 공정성과 일반화에 대한 이론적 보장을 제공한다.