[논문 리뷰] Dynamic Modeling and Equilibria in Fair Decision Making

Joshua Williams, J. Zico Kolter|arXiv (Cornell University)|2019. 11. 15.

Ethics and Social Impacts of AI참고 문헌 28인용 수 5

한 줄 요약

이 논문은 대출 승인과 같은 동적 의사결정에서 장기적 공정성을 연구하기 위해 연속적이고 베타분포를 따르는 인구 모델을 제안한다. 비제약 정책은 분기현상(부자들은 더 부자가 되고 빈자리들은 더 빈곤해짐)을 일으킬 수 있지만, 기회 균등성 또는 인구 비율 균형과 같은 공정성 제약 조건은 그룹들이 동일한 평형 상태로 수렴하게 한다. 그러나 잘못된 상향확률 추정치는 여전히 공정한 정책 하에서도 분리 현상을 일으킬 수 있다.

ABSTRACT

Recent studies on fairness in automated decision making systems have both investigated the potential future impact of these decisions on the population at large, and emphasized that imposing ''typical'' fairness constraints such as demographic parity or equality of opportunity does not guarantee a benefit to disadvantaged groups. However, these previous studies have focused on either simple one-step cost/benefit criteria, or on discrete underlying state spaces. In this work, we first propose a natural continuous representation of population state, governed by the Beta distribution, using a loan granting setting as a running example. Next, we apply a model of population dynamics under lending decisions, and show that when conditional payback probabilities are estimated correctly 1) ``optimal'' behavior by lenders can lead to ''Matthew Effect'' bifurcations (i.e., ''the rich get richer and the poor get poorer''), but that 2) many common fairness constraints on the allowable policies cause groups to converge to the same equilibrium point. Last, we contrast our results in the case of misspecified conditional probability estimates with prior work, and show that for this model, different levels of group misestimation guarantees that even fair policies lead to bifurcations. We illustrate some of the modeling conclusions on real data from credit scoring.

연구 동기 및 목표

• 자동화된 의사결정에서의 인구 역학을 연속시간 과정으로 모델링하여, 베타분포를 통해 그룹 수준의 상환 가능성을 기술한다.
• 공정성 제약 조건이 반복적 의사결정 시스템의 장기적 결과에 어떻게 영향을 미치는지 조사하며, 특히 그룹 평형 상태가 수렴하거나 분리되는지를 탐구한다.
• 특히, 역사적으로 소외된 그룹에 대해 체계적으로 위험을 과소평가하는 모델이 상황에 따라 잘못된 상향확률을 추정할 경우, 공정성 결과에 어떤 영향을 미치는지 분석한다.
• 공정성 정의에 따라 정책 성능을 평가하기 위해 공공의 신용 스코링 데이터를 사용하여 실제 영향을 평가한다.
• 이전의 가정을 도전하며, 추정 오차가 그룹 간으로 다를 경우 조차도 공정한 정책이 수렴을 달성하지 못할 수 있음을 보여준다.

제안 방법

• 평균(μ)과 농도(c)로 매개변수화된 베타분포를 사용하여 인구 상태를 모델링하여 개인의 상환 가능성 분포를 표현한다.
• 예를 들어 기회 균등성 또는 인구 비율 균형과 같은 공정성 제약 조건을 베타분포의 누적분포함수에 대한 분석적 조건으로 정의한다.
• 대출 결정이 기대 수익과 그룹 수준의 역학에 기반한 결정적 업데이트 규칙을 통해 인구 상태를 업데이트하는 동적 시스템을 구성한다.
• 실제 신용 스코링 데이터를 사용하여 블랙 및 비 히스패닉 백인 지원자에 대해 μ와 c를 추정하고, 시간에 따라 정책 궤적을 시뮬레이션한다.
• 비제약, 공정, 그리고 맹목적 정책 하에서 평형 행동을 분석하여 수렴, 분기, 장기적 복지 결과를 비교한다.
• 그룹 간 상향확률 추정치를 다양하게 조절하여 오차를 도입함으로써, 공정성 보장의 복원력을 평가한다.

실험 결과

연구 질문

• RQ1 동적 의사결정 시스템에서의 공정성 제약 조건이 장기적으로 소외된 그룹과 유리한 그룹이 동일한 평형 상태로 수렴할 수 있는가?
• RQ2 기회 균등성과 인구 비율 균형 등 다양한 공정성 정의가 시간에 따라 그룹 수준의 상환 가능성 분포에 어떤 영향을 미치는가?
• RQ3 특히 그룹 간으로 다를 수 있는 추정 오차—특히 역사적으로 소외된 그룹에 대해 더 높은 오류율을 가진 경우—는 공정성 제약 조건의 효과를 얼마나 떨어뜨리는가?
• RQ4 비제약적 이윤 극대화 정책이 장기적 그룹 복지 측면에서 공정한 정책보다 우월하거나 열등한가에 따라 어떤 조건에서 성립하는가?
• RQ5 실제 신용 스코링 데이터 패턴이 제안된 동적 공정성 모델의 이론적 예측을 어떻게 반영하거나 도전하는가?

주요 결과

• 비제약적 이윤 극대화 정책은 분기현상으로 이어지며, 유리한 그룹은 향상되고 소외된 그룹은 정체되어 마태열전 효과(Mattthew Effect)를 초래한다.
• 기회 균등성 또는 인구 비율 균형과 같은 공정성 제약 조건은 임시적인 피해가 발생하더라도 두 그룹 모두 동일한 긍정적 평형 상태로 수렴하게 한다.
• 보호된 속성을 무시하는 맹목적 정책은 두 그룹 모두 장기적으로 더 나쁜 결과를 초래하며, 적절한 모델링 없이 공정성을 적용하는 것은 오히려 역효과를 낳을 수 있음을 보여준다.
• 인구 비율 균형은 일시적인 피해를 초래하지만, 결국 모든 그룹의 더 나은 장기적 평형 상태를 이끌어내며, 단기적 비용이 장기적 이익을 가져올 수 있음을 보여준다.
• 조건부 상환 가능 확률이 잘못 추정될 경우—특히 역사적으로 소외된 그룹에 대해 더 높은 오류율을 가질 경우—공정한 정책도 수렴을 보장하지 못하며, 지속적인 분기현상이 발생한다.
• 모델는 정확한 그룹 수준의 분포 추정이 공정한 정책 제약 조건 하에서도 장기적 공정한 결과를 달성하기 위해 필수적임을 보여준다.