[논문 리뷰] Eliciting and Enforcing Subjective Individual Fairness.

Christopher Jung, Michael Kearns외 4명|arXiv (Cornell University)|2019. 05. 25.

Ethics and Social Impacts of AI참고 문헌 21인용 수 41

한 줄 요약

이 논문은 사전에 정의된 공정성 척도를 가정하지 않고, 유사하게 대응되어야 할 개인 쌍에 대한 인간의 주석을 기반으로 주관적 개인 공정성을 도출하고 강제하는 프레임워크를 제안한다. 예측 오차를 최소화하면서 이러한 주관적 공정성 제약 조건을 만족시키는 오ракulum 효율적이고 증명 가능하게 수렴하는 알고리즘을 도입하며, 이론적 분석과 COMPAS 데이터셋을 활용한 행동 연구를 통해 정확도와 공정성 모두에 대한 일반화 성능을 입증한다.

ABSTRACT

We revisit the notion of individual fairness first proposed by Dwork et al. [2012], which asks that similar individuals should be treated similarly. A primary difficulty with this definition is that it assumes a completely specified fairness metric for the task at hand. In contrast, we consider a framework for fairness elicitation, in which fairness is indirectly specified only via a sample of pairs of individuals who should be treated (approximately) equally on the task. We make no assumption that these pairs are consistent with any metric. We provide a provably convergent oracle-efficient algorithm for minimizing error subject to the fairness constraints, and prove generalization theorems for both accuracy and fairness. Since the constrained pairs could be elicited either from a panel of judges, or from particular individuals, our framework provides a means for algorithmically enforcing subjective notions of fairness. We report on preliminary findings of a behavioral study of subjective fairness using human-subject fairness constraints elicited on the COMPAS criminal recidivism dataset.

연구 동기 및 목표

• 사전에 정의된 척도가 필요로 하는 개인 공정성의 한계를 해결하기 위해, 인간의 판단에서 공정성을 도출할 수 있도록 하는 것.
• 메트릭 일관성을 가정하지 않고 주관적 쌍 비교에서 유도된 공정성 제약 조건을 강제할 수 있는 알고리즘을 개발하는 것.
• 제안된 프레임워크 하에서 정확도와 공정성에 대한 일반화 경계를 증명하는 것.
• 실제 공정성 제약 조건을 포함한 COMPAS 재범 데이터셋을 활용한 행동 연구를 통해 프레임워크를 실증적으로 평가하는 것.

제안 방법

• 모델이 두 개인이 유사하게 대응되어야 한다고 명시하는 인간 심판자나 개인으로부터 쌍 비교 공정성 제약 조건의 집합을 수집한다.
• 학습 문제를 예측 오차를 최소화하면서 쌍 비교에서 유도된 공정성 제약 조건을 만족시키는 제약 최적화 문제로 공식화한다.
• 공정성 오라클을 반복적으로 쿼리하여 제약 조건 이행 여부를 점검하고 예측을 조정하는 오라클 효율적인 접근 방식을 사용한다.
• 예측 가능한 수렴성을 보장하기 위해 투영된 경사 하강법 또는 유사한 반복 정밀화 방법과 같은 증명 가능하게 수렴하는 최적화 방법을 적용한다.
• 이론적 분석을 통해 정확도와 공정성에 대한 일반화 경계를 확립하여, 모델이 미리 보지 않은 데이터에서도 잘 작동함을 보여준다.
• 행동 연구를 통해 인간 피험자로부터 수집한 공정성 제약 조건을 활용하여, COMPAS 범죄 재범 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 사전에 정의된 공정성 척도를 가정하지 않고 인간의 판단에서 공정성을 효과적으로 도출할 수 있는가?
• RQ2 일관성 없는 쌍 비교 공정성 제약 조건의 집합을 효율적으로 학습하여 이행할 수 있는 알고리즘은 어떻게 설계할 수 있는가?
• RQ3 주관적 공정성 제약 조건 하에 훈련된 모델의 일반화 성질은 어떠한가?
• RQ4 실제로 인간이 도출한 공정성 제약 조건은 메트릭 기반 공정성 정의와 어떻게 비교되는가?
• RQ5 실제 응용에서 주관적 공정성 제약 조건은 모델의 정확도와 공정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘이 모든 공정성 제약 조건을 만족하면서 예측 오차를 최소화하는 해에 증명 가능하게 수렴함을 입증하였다.
• 정확도와 공정성에 대한 일반화 경계가 확립되었으며, 이는 모델이 미리 보지 않은 데이터에서도 잘 작동함을 보여주었다.
• 행동 연구를 통해 인간이 도출한 공정성 제약 조건는 다양하며 일반적으로 단일 메트릭과 일치하지 않음을 확인하여, 탄력적인 프레임워크의 필요성을 검증하였다.
• 사전에 정의된 메트릭이 필요 없이 주관적 공정성을 성공적으로 강제할 수 있었으며, 인간의 직관적 공정성을 알고리즘적으로 구현할 수 있었다.
• 이 프레임워크를 통해 훈련된 모델는 높은 정확도를 유지하면서도 복잡한 인간 기반 공정성 제약 조건을 충족함을 입증하였다.