[논문 리뷰] Black Loans Matter: Distributionally Robust Fairness for Fighting Subgroup Discrimination

Mark Weber, Mikhail Yurochkin외 2명|arXiv (Cornell University)|2020. 11. 27.

Corruption and Economic Development참고 문헌 15인용 수 6

한 줄 요약

이 논문은 집단 정의성 지표가 보조적 편향을 방지하지 못하는 알고리즘 대출에서 하위군 차별을 막기 위해 분포로 불안정한 정의성(DRF)을 제안한다. 개인 정의성 원칙과 강건 최적화를 통합함으로써 DRF는 민감한 속성에 접근하지 않더라도 보호되는 속성의 교차를 포함한 모든 하위군에서 공정한 대우를 보장한다.

ABSTRACT

Algorithmic fairness in lending today relies on group fairness metrics for monitoring statistical parity across protected groups. This approach is vulnerable to subgroup discrimination by proxy, carrying significant risks of legal and reputational damage for lenders and blatantly unfair outcomes for borrowers. Practical challenges arise from the many possible combinations and subsets of protected groups. We motivate this problem against the backdrop of historical and residual racism in the United States polluting all available training data and raising public sensitivity to algorithimic bias. We review the current regulatory compliance protocols for fairness in lending and discuss their limitations relative to the contributions state-of-the-art fairness methods may afford. We propose a solution for addressing subgroup discrimination, while adhering to existing group fairness requirements, from recent developments in individual fairness methods and corresponding fair metric learning algorithms.

연구 동기 및 목표

• 현재 대출 분야의 정의성 프로토콜에서 집단 정의성 지표가 보조적 편향을 방지하지 못하는 심각한 취약점을 해결하기 위해.
• 집단 정의성 기준을 충족하더라도 알고리즘 대출 시스템이 여전히 인종에 따라 금리 프리미엄을 부과하고 보호받는 집단의 자격 있는 대출 신청자를 기각할 수 있음을 입증하기 위해.
• 집단 정의성에서 개인 정의성으로의 전환을 위해 분포로 불안정한 정의성(DRF)을 제안하여, 보호되는 속성의 교차를 포함한 모든 하위군에서 공정성을 보장하기 위해.
• 민감한 속성을 모델에서 무시하는 '정의성에 의한 무지' 관행이 효과적이지 않으며, 오히려 모델이 보조적 특성으로부터 보호되는 속성을 학습함으로써 차별을 계속 유도할 수 있음을 도전하기 위해.
• 정책 및 산업 개혁을 촉구하기 위해, 정의성 향상을 위한 자율적 인종 식별 정보 포함 및 하위군 수준의 차별을 고려한 규제 지침 개선을 제안하기 위해.

제안 방법

• 모든 하위군, 특히 보호되는 속성의 교차로 정의된 하위군을 포함하여 가장 악화된 정의성 위반을 최소화하는 분포로 불안정한 최적화 문제로 정의성 문제를 수립한다.
• 개인 정의성 원칙을 강화하기 위해 유사한 개인이 유사하게 대우받도록 보장하는 분포로 불안정한 정의성(DRF) 목적함수를 도입한다. 이는 하위군 표현의 분포 변화에 대해서도 유효하다.
• 정의성 제약 조건을 반영하는 거리 척도를 학습하기 위해 공정한 거리 척도 학습을 활용하여, 다양한 하위군을 통해 일반화할 수 있도록 하면서도 성능을 유지한다.
• 모델 최적화에 DRF를 정규화 요소로 통합하는 학습 절차를 설계하여, 훈련 시 민감한 속성에 접근하지 않더라도 하위군 수준의 격차에 대한 강건성을 확보한다.
• 정의성과 정확도를 동시에 확보하면서도 기존의 집단 정의성 기준을 준수하는 제약 최적화 프레임워크를 사용한다.
• 민감한 속성에 대한 '맹목성' 재평가를 제안하며, 이는 인증 가능한 공정한 모델 개발을 방해하고 체계적 불평등에 대한 무지의 태도를 조장한다고 주장한다.

실험 결과

연구 질문

• RQ1 기존의 집단 정의성 지표가 통계적 평등성을 충족하더라도, 대출 분야에서 하위군 차별을 방지하지 못할 수 있는가?
• RQ2 기존의 집단 정의성 기준을 준수함에도 불구하고 기계 학습 모델이 보조적 특성이나 하위군 수준의 패턴을 통해 차별을 학습할 수 있는 정도는 어느 정도인가?
• RQ3 개인 정의성 원칙을 어떻게 형식화하고 구현할 수 있는가? 이는 보호되는 속성의 교차를 포함한 모든 하위군에서 강건한 정의성을 보장하기 위해.
• RQ4 '정의성에 의한 무지'(민감한 속성을 모델에서 숨기는 것)의 의미는 무엇인가? 이는 대출 분야에서 보조적 편향을 탐지하고 방지하는 데 어떤 영향을 미치는가?
• RQ5 규제 및 산업 관행은 하위군 수준의 차별을 어떻게 반영하고, 최신 정의성 기법의 도입을 지원할 수 있는가?

주요 결과

• 집단 정의성 지표가 충족된 상태에서도 알고리즘 대출 시스템은 주택 구매 담보 대출에 대해 최대 5.3bp, 재융자에 대해 2.0bp의 인종 프리미엄을 부과할 수 있다.
• 접수 승인률 평등성 향상에도 불구하고 알고리즘 모델은 라틴계 및 아프리카계 미국인 대출자에게 백인 대출자보다 유의미하게 높은 금리율을 부과하여 '역 레드라인'의 형태를 띈다.
• 분포로 불안정한 정의성(DRF)의 사용은 보호되는 속성의 모든 조합, 특히 교차 하위군까지 포함하여 하위군 수준의 격차를 효과적으로 줄인다.
• 정의성에 의한 무지—민감한 속성을 모델에서 무시하는 것—은 보조적 편향을 방지하지 못하며, 모델이 다른 특성에서 보호되는 속성을 유추할 수 있기 때문이다.
• 제안된 DRF 프레임워크는 성능 저하 없이 더 공정한 결과를 가능하게 하며 기존의 준수 파이프라인에 통합될 수 있다.
• 강건한 정의성 제약 조건과 함께 자율적 인종 식별 정보 포함은 특히 강력한 정의성 제약 조건이 함께 적용될 경우 더 투명하고 정의로운 결과를 이끌 수 있다.