[논문 리뷰] Fairer and more accurate, but for whom?

Alexandra Chouldechova, Max G’Sell|arXiv (Cornell University)|2017. 06. 30.

Advanced Causal Inference Techniques참고 문헌 10인용 수 33

한 줄 요약

이 논문은 두 기계학습 모델 간의 공정성 지표(예: 오류율 또는 수락율에서의 인종 또는 성별 격리)에서의 상당한 차이를 보이는 하위군을 식별하기 위해 재귀적 이진 분할 프레임워크를 제안한다. 전체 성능 지표에 의해 가려질 수 있는 이러한 하위군 수준의 불일치를 통해 연구자들은 모델이 총합적으로 유사해 보일지라도 숨겨진 불평등을 드러낼 수 있으며, 이는 재범 예측 및 대출 응용 사례에서 확인되었다.

ABSTRACT

Complex statistical machine learning models are increasingly being used or considered for use in high-stakes decision-making pipelines in domains such as financial services, health care, criminal justice and human services. These models are often investigated as possible improvements over more classical tools such as regression models or human judgement. While the modeling approach may be new, the practice of using some form of risk assessment to inform decisions is not. When determining whether a new model should be adopted, it is therefore essential to be able to compare the proposed model to the existing approach across a range of task-relevant accuracy and fairness metrics. Looking at overall performance metrics, however, may be misleading. Even when two models have comparable overall performance, they may nevertheless disagree in their classifications on a considerable fraction of cases. In this paper we introduce a model comparison framework for automatically identifying subgroups in which the differences between models are most pronounced. Our primary focus is on identifying subgroups where the models differ in terms of fairness-related quantities such as racial or gender disparities. We present experimental results from a recidivism prediction task and a hypothetical lending example.

연구 동기 및 목표

• 전체 성능 지표의 한계를 해결하기 위해, 이는 모델 간의 하위군 수준의 상당한 격리성을 가리칠 수 있기 때문이다.
• 두 모델 간의 공정성 관련 결과(예: 인종 또는 성별에 따른 임의의 양성률 격리)에서 가장 큰 차이를 보이는 하위군을 자동으로 탐지하는 방법을 개발하기 위해이다.
• 결정이 개인의 삶에 영향을 미치고 공정성이 핵심적인 고위험 분야(예: 형사 사법 및 대출)에서의 모델 비교를 가능하게 하기 위해이다.
• 민감한 속성(예: 인종, 혼인 상태 등)의 포함 여부가 하위집단 전반에서 공정성 결과에 어떻게 영향을 미치는지 드러내어 모델 선택을 지원하기 위해이다.
• 모델 내부나 공통 입력 변수에 대한 지식이 필요 없이 원칙적이고 데이터 기반의 하위군 공정성 분석 방법을 제공하기 위해이다.

제안 방법

• 후보 변수(예: 연령, 성별, 범죄 기록 등)를 기반으로 데이터를 하위군으로 나누기 위해 테스트 기반의 재귀적 이진 분할 알고리즘을 사용한다.
• 각 노드에서 카이제곱 검정 또는 t-검정과 같은 통계적 검정을 적용하여, 두 모델 간의 공정성 파ameter(예: 임의의 양성률 격리 또는 수락율 격리)의 불안정성을 탐지한다.
• 두 모델 간의 공정성 지표 격리가 통계적으로 유의미한 하위군을 식별하는 파라미터 불안정성 트리를 구성한다.
• 작은 또는 실질적으로 의미 없는 차이를 보이는 노드를 압축하여 의미 있는 하위군 격리에 집중한다.
• 하위군 내에서 두 모델 간의 공정성 지표 격리(예: 성별 대출율 격리)의 차이를 나타내는 격리 차이 지표 Δ를 정의한다.
• 실제 사례에 적용: 재범 예측에서 COMPAS 대 Priors 및 가상의 대출 작업에서 Small 대 Full 랜덤 포레스트 모델.

실험 결과

연구 질문

• RQ1 전체 성능이 유사할 경우에도, 두 기계학습 모델 간의 공정성 지표에서 상당한 차이를 보이는 하위군을 어떻게 탐지할 수 있는가?
• RQ2 인종에 따른 임의의 양성률 격리와 같은 공정성 격리성은 하위집단 간에 얼마나 다를 수 있으며, 모델 간 입력 변수가 다를 경우 어떻게 변화하는가?
• RQ3 민감한 속성(예: 인종, 혼인 상태 등)의 포함 여부가 예측 모델의 하위집단 수준 공정성 결과에 어떤 영향을 미치는가?
• RQ4 모델 비교 프레임워크는 총합 성능 지표에 의해 가려진 숨겨진 불평등을 드러낼 수 있는가?
• RQ5 범죄 기록(Priors)의 포함 여부와 복잡한 블랙박스 모델(COMPAS) 간의 차이가 인구 통계 하위군 전반에서 공정성 격리성에 어떻게 영향을 미치는가?

주요 결과

• Broward 카운티 재범 예측 데이터셋에서 COMPAS와 Priors는 유사한 전체 정확도와 AUC를 보이지만, 32%의 경우에서 의견 차이를 보였다.
• 청년 남성 하위군에서 Black과 White 피고인 간의 임의의 양성률(FPR) 격이는 크게 달라졌다: COMPAS는 큰 FPR 격리(16.5%)를 보였고, Priors는 거의 0(0.5%)에 가까운 격리를 보였다.
• 가상의 대출 예시에서 Full 모델에 인종과 혼인 상태를 포함시킴으로써 기혼이고 대학 졸업자인 하위집단에서 성별 대출율 격리가 감소했으며, 일부 하위집단에서는 격리가 반전되기도 하였다.
• 기혼이 아니며 대학 졸업자인 하위집단에서, Full 모델에서 남성의 대출율이 급격히 감소함에 따라 성별 수락율 격리는 크게 감소하였다.
• 이 방법은 COMPAS와 Priors 간의 FPR 격이 다른 7개의 별도 하위군을 성공적으로 식별하였으며, 가장 큰 격리는 인구 통계 및 범죄 기록 변수에 의해 주도되었다.
• 파라미터 불안정성 트리의 프루닝은 작은 효과 크기(예: Δ = 0.001)를 보이는 노드를 제거하여 통계적으로 유의미하지만 실질적으로 의미 없는 차이가 아닌 실질적으로 중요한 격리에 집중하도록 보장하였다.