[논문 리뷰] A survey on measuring indirect discrimination in machine learning

Indrė Žliobaitė|arXiv (Cornell University)|2015. 10. 31.

Names, Identity, and Discrimination Research참고 문헌 19인용 수 89

한 줄 요약

이 종합 검토는 간접적 차별을 탐지하기 위해 기계 학습에서 사용되는 차별 측정 방법을 체계적으로 검토하고 분류하며, 그 성질을 계산적으로 평가하고, 해석 가능성과 신뢰성 측면에서 비율 기반 측정 방법보다 차등 기반 측정 방법(예: 정규화된 차이)을 권장한다. 이는 예측 모델링에서 공정성 평가를 위한 통합 프레임워크를 제공하며, 정당한 특성에 따른 분류를 강조하여 그룹 간 공정한 비교를 보장한다.

ABSTRACT

Nowadays, many decisions are made using predictive models built on historical data.Predictive models may systematically discriminate groups of people even if the computing process is fair and well-intentioned. Discrimination-aware data mining studies how to make predictive models free from discrimination, when historical data, on which they are built, may be biased, incomplete, or even contain past discriminatory decisions. Discrimination refers to disadvantageous treatment of a person based on belonging to a category rather than on individual merit. In this survey we review and organize various discrimination measures that have been used for measuring discrimination in data, as well as in evaluating performance of discrimination-aware predictive models. We also discuss related measures from other disciplines, which have not been used for measuring discrimination, but potentially could be suitable for this purpose. We computationally analyze properties of selected measures. We also review and discuss measuring procedures, and present recommendations for practitioners. The primary target audience is data mining, machine learning, pattern recognition, statistical modeling researchers developing new methods for non-discriminatory predictive modeling. In addition, practitioners and policy makers would use the survey for diagnosing potential discrimination by predictive models.

연구 동기 및 목표

• 기계 학습에서 간접적 차별을 탐지하기 위해 사용되는 차별 측정 방법에 대한 종합적이고 체계적인 검토를 제공하기 위해.
• 핵심 차별 측정 방법의 성질과 신뢰성을 계산적 분석을 통해 평가하기 위해.
• 실무자와 연구자에게 가장 해석 가능하고 강력한 측정 방법을 식별하고 권장하기 위해.
• 공정성 평가에 대한 합의 부족 문제를 해결하기 위해 다양한 접근 방식을 통합하여 일관된 프레임워크를 제공하기 위해.
• 실무자가 잠재적 차별을 진단하고 정책 입안자가 비차별적 AI 기준을 설정하는 데 도움을 주기 위해.

제안 방법

• 수학적 및 개념적 기초에 따라 차별 측정 방법을 통계적, 절대적, 조건부, 구조적 유형으로 분류한다.
• 합성 분류 작업을 사용하여 핵심 측정 방법(예: 평균 차이, 정규화된 차이, AUC, 영향 비율)의 강건성과 해석 가능성 평가를 분석한다.
• 비율 기반 측정 방법(예: 오즈 비율, 영향 비율)과 차등 기반 측정 방법(예: 평균 차이, 정규화된 차이)을 데이터 불균형에 대한 민감도와 해석 가능성 측면에서 비교한다.
• 정당한 특성(예: 자격)에 따른 인구 분류 원칙을 도입하여 불공정한 대우를 정당한 차이에서 분리한다.
• 동질적 하위군 내에서 공정한 비교를 가능하게 하기 위해 성향 스코어 매칭 및 기타 조건부 측정 방법을 제안한다.
• 정규화된 차이를 주요 측정 방법으로 사용하고, 높은 해석 가능성 리스크로 인해 비율 기반 측정 방법을 회피할 것을 권장한다.

실험 결과

연구 질문

• RQ1 기계 학습 모델에서 간접적 차별을 탐지하기 위해 가장 신뢰성 있고 해석 가능한 차별 측정 방법은 무엇인가?
• RQ2 다양한 데이터 분포에서 비율 기반 측정 방법과 차등 기반 측정 방법 간의 강건성과 해석 가능성은 어떻게 비교되는가?
• RQ3 정당한 특성(예: 교육, 경력)에 따른 인구 분류는 모델의 공정성 평가를 공정하게 보장하는 데 어떤 역할을 하는가?
• RQ4 기존의 관련 분야(예: 특성 선택)에서의 측정 방법은 기계 학습에서의 차별 측정에 어떻게 적응시킬 수 있는가?
• RQ5 현재의 공정성 평가 관행의 한계는 무엇이며, 방법론적 개선을 통해 어떻게 보완할 수 있는가?

주요 결과

• 오즈 비율, 영향 비율 등의 비율 기반 측정 방법은 이해하기 어렵고, 특히 데이터 불균형 상황에서 오해의 소지가 크며, 따라서 권장되지 않는다.
• 정규화된 차이, 비정규화된 평균 차이와 같은 차등 기반 측정 방법은 더 해석 가능하고 강건하며, 주요 공정성 평가 지표로 권장된다.
• 핵심 측정 방법만으로는 공정성 평가가 부족하며, 자격이나 경험과 같은 정당한 그룹 간 차이를 고려하지 않기 때문이다.
• 정당한 특성(예: 교육, 경력)에 따라 인구를 분류하는 것이 공정성 측정을 적용하기 전에 필수적이며, 이는 차별 탐지에서 허위 양성 결과를 방지한다.
• 미해결된 차이, 성향 스코어 매칭과 같은 조건부 측정 방법은 동질적 하위군 내 비교를 가능하게 하여 공정성 평가를 향상시킨다.
• 이 종합 검토는 다양한 공정성 측정 방법을 통합하고 다중 클래스, 다중 목표, 다중 보호 특성 설정에서의 열린 과제를 부각시켜 향후 연구의 기초를 마련한다.