[논문 리뷰] Fair Models in Credit: Intersectional Discrimination and the Amplification of Inequity

Savina Kim, Stefan Lessmann외 2명|arXiv (Cornell University)|2023. 08. 01.

Housing, Finance, and Neoliberalism인용 수 5

한 줄 요약

이 연구는 스페인의 실제 대체 신용 데이터를 활용해 마이크로파이낸스 신용 평가에서 다중 정체성 차별을 조사하며, 기계학습 모델이 법적으로 보호되는 특성(예: 성별, 인종)을 초월해 다중 정체성을 가진 개인(예: 다자녀를 둔 미혼 모녀)에게 불리하게 작용함으로써 불평등을 악화시킬 수 있음을 밝혀낸다. 인구 집단 수준의 공정성 조치에도 불구하고, 민감한 특성의 조합 효과로 인해 하위 집단 수준의 격차가 발생하여 현재의 공정성 프레임워크에 내재된 체계적 결함을 드러낸다.

ABSTRACT

The increasing usage of new data sources and machine learning (ML) technology in credit modeling raises concerns with regards to potentially unfair decision-making that rely on protected characteristics (e.g., race, sex, age) or other socio-economic and demographic data. The authors demonstrate the impact of such algorithmic bias in the microfinance context. Difficulties in assessing credit are disproportionately experienced among vulnerable groups, however, very little is known about inequities in credit allocation between groups defined, not only by single, but by multiple and intersecting social categories. Drawing from the intersectionality paradigm, the study examines intersectional horizontal inequities in credit access by gender, age, marital status, single parent status and number of children. This paper utilizes data from the Spanish microfinance market as its context to demonstrate how pluralistic realities and intersectional identities can shape patterns of credit allocation when using automated decision-making systems. With ML technology being oblivious to societal good or bad, we find that a more thorough examination of intersectionality can enhance the algorithmic fairness lens to more authentically empower action for equitable outcomes and present a fairer path forward. We demonstrate that while on a high-level, fairness may exist superficially, unfairness can exacerbate at lower levels given combinatorial effects; in other words, the core fairness problem may be more complicated than current literature demonstrates. We find that in addition to legally protected characteristics, sensitive attributes such as single parent status and number of children can result in imbalanced harm. We discuss the implications of these findings for the financial services industry.

연구 동기 및 목표

• 자동화된 의사결정 시스템에서 성별, 연령, 혼인 상태, 미혼 모시기 상태, 자녀 수와 같은 다중 정체성이 신용 접근성에 어떻게 영향을 미치는지 조사하는 것.
• 집합 수준에서의 공정성 측정이 이루어지더라도 하위 집단 수준에서의 심화된 불평등이 존재함에도 불구하고, 신용 평가의 공정성이 표면적일 수 있음을 평가하는 것.
• 법적으로 보호되는 특성 외의 민감한 특성(예: 미혼 모시기 상태, 자녀 수)이 알고리즘 기반 신용 배분에서 불균형한 피해를 초래할 수 있음을 입증하는 것.
• 현재의 규제 프레임워크가 핀테크 및 대체 신용 데이터 시스템에서의 다중 정체성 차별을 다루는 데에 한계를 보이는 이유를 부각하는 것.
• 신용 위험 모델링에서 다수의 정체성과 그 상호작용을 고려하는 더 세밀한 공정성 기준이 기계학습에 필요하다는 것을 주장하는 것.

제안 방법

• 연구는 스페인 마이크로파이낸스 플랫폼에서 제공한 100,000건 이상의 무담보 마이크로론 실거래 데이터를 사용하여 신용 배분 패턴을 분석한다.
• 비전통적 사회경제적 특성도 포함한 대체 신용 데이터를 활용해 기계학습 모델을 적용하여 신용도를 예측한다.
• 연구진은 젊은 미혼 모녀가 다수의 자녀를 둔 경우와 같은 조합 정체성에 대해 공정성 평가를 위해 다중 정체성 분석을 시행한다.
• 예측 오차와 승인률을 서로 다른 다중 정체성 하위 집단 간 비교를 통해 공정성 지표를 평가한다.
• 보호받는 특성 또는 민감한 특성의 대체 지표가 되는 것으로 보이는 중립적인 특성(예: 우편번호, 교육 수준)이 실제로는 보호받는 특성의 대체 지표로 작용하는지 분석함으로써 대리적 차별 여부를 평가한다.
• 伝통적 신용 모델과 대체 데이터 기반 모델 간의 공정성 결과를 비교하여 불평등이 어디서 발생하는지 규명한다.

실험 결과

연구 질문

• RQ1 자동화된 마이크로파이낸스 대출 시스템에서 성별, 연령, 혼인 상태, 미혼 모시기 상태, 자녀 수와 같은 다중 정체성이 신용 접근성에 어떻게 영향을 미치는가?
• RQ2 집합 수준에서의 알고리즘 공정성이 유지되더라도 하위 집단 수준에서 심각한 불평등이 존재할 경우, 이 공정성은 얼마나 표면적인가?
• RQ3 법적으로 보호되는 특성 외의 민감한 특성(예: 미혼 모시기 상태, 가족 규모)이 신용 평가 모델에서 불균형한 피해를 초래할 수 있는가?
• RQ4 대체 신용 데이터와 복잡한 모델링 과정이 전통적 신용 평가 방법에 비해 다중 정체성 차별을 어떻게 악화시키거나 은폐할 수 있는가?
• RQ5 보호받는 특성의 대체 변수가 모델 입력에 사용될 경우, 규제 프레임워크가 다중 정체성 차별을 다루지 못하는 방식은 무엇인가?

주요 결과

• 전체 집단 수준에서는 공정성이 유지되고 있음에도 불구하고, 다중 정체성의 조합 효과로 인해 하위 집단 수준에서 신용 승인률과 예측 오차의 심각한 격차가 발생한다.
• 보호받는 특성이 모델링에 직접 사용되지 않더라도, 젊은 미혼 모녀가 다수의 자녀를 둔 경우 가장 높은 수준의 불공정 대우를 경험한다.
• 미혼 모시기 상태, 자녀 수와 같은 민감한 특성이 불균형한 피해를 초래함으로써, 공정성 프레임워크가 법적으로 보호되는 범주를 초월해야 함을 시사한다.
• 우편번호, 소득, 교육 수준 등의 대리 변수는 구조적 차별의 대체 지표로 작용할 수 있으며, 보호받는 특성이 학습에서 제외된 경우에도 차별적 결과를 초래할 수 있다.
• 연구는 대체 신용 데이터와 고급 기계학습 모델이 복잡한 다중 정체성적 불리한 패턴을 포착함으로써 간접적으로 불평등을 악화시킬 수 있음을 입증한다.
• 현재의 규제 기준은 다수의 민감한 특성과 그 대체 지표의 복합적 영향을 고려하지 못함으로써 다중 정체성 차별을 다루는 데에 부적절하다.