[논문 리뷰] Identifying Significant Predictive Bias in Classifiers

Zhe Zhang, Daniel B. Neill|arXiv (Cornell University)|2016. 11. 24.

Imbalanced Data Classification Techniques참고 문헌 16인용 수 40

한 줄 요약

이 논문은 지수적 수의 하위군을 탐색하는 데 있어 빠른 스캔과 파라미터 부트스트랩을 활용하여, 모든 가능한 특성 하위군에서 확률적 이元분류기의 통계적으로 유의미한 예측 편향을 탐지하기 위한 부분군 스캔 방법을 제안한다. 기존에 간과되었던 다차원적 편향, 예를 들어 COMPAS 데이터에서 청소년 남성과 경범죄 기소 여자에 대한 과도한 예측을 드러내며, 편향이 단지 민족적 차이 때문이 아니라 모델의 잘못된 특정화에서 비롯될 수 있음을 보여준다.

ABSTRACT

We present a novel subset scan method to detect if a probabilistic binary classifier has statistically significant bias -- over or under predicting the risk -- for some subgroup, and identify the characteristics of this subgroup. This form of model checking and goodness-of-fit test provides a way to interpretably detect the presence of classifier bias or regions of poor classifier fit. This allows consideration of not just subgroups of a priori interest or small dimensions, but the space of all possible subgroups of features. To address the difficulty of considering these exponentially many possible subgroups, we use subset scan and parametric bootstrap-based methods. Extending this method, we can penalize the complexity of the detected subgroup and also identify subgroups with high classification errors. We demonstrate these methods and find interesting results on the COMPAS crime recidivism and credit delinquency data.

연구 동기 및 목표

• 사전에 정의된 민족적 집단에 국한되지 않고, 모든 가능한 특성 하위군에서 확률적 분류기의 통계적으로 유의미한 예측 편향을 탐지하기 위해.
• 지수적 수의 하위군을 스캔하는 데 있어 계산적·통계적 과제를 해결하기 위해 빠른 부분군 스캔과 파라미터 부트스트랩을 사용하기 위해.
• 예측된 올바른 비율과 관측된 비율 간의 편향 외에도 높은 분류 오차 또는 과도한 확신을 보이는 하위군을 식별하기 위해.
• 숨겨진 편향을 드러내는 해석 가능하고 데이터 기반의 방법을 제공하여 실세계 리스크 예측 시스템의 모델 진단을 가능하게 하기 위해.

제안 방법

• 지수적 수의 가능한 특성 기반 하위군 중에서 가장 편향이 심한 하위군을 효율적으로 식별하기 위해 부분군 스캔 접근법을 사용한다.
• 예측 편향을 하위군 내에서 관측된 결과의 비율과 예측된 비율 간의 편차로 정의한다.
• 다중 검정을 고려하여 통계적 유의성을 추정하기 위해 파라미터 부트스트랩을 활용한다.
• 과적합을 방지하기 위해 더 단순하고 해석 가능한 하위군을 선호함으로써 복잡성 페널티를 적용한다.
• 예측에 대한 과도한 확신으로 인해 높은 분류 오차를 보이는 하위군을 탐지하기 위해 방법을 확장한다.
• 검증을 위해 검출된 하위군을 보류된 데이터에 대해 테스트하여 일관된 편향 방향을 확인한다.

실험 결과

연구 질문

• RQ1 사전에 정의된 민족적 집단에 국한되지 않고, 모든 가능한 특성 하위군에서 분류기의 통계적으로 유의미한 예측 편향을 탐지할 수 있는가?
• RQ2 완전한 계산 없이도 지수적 수의 하위군을 효율적으로 스캔할 수 있는 방법은 무엇인가?
• RQ3 다중 검정을 고려할 때 검출된 하위군의 편향 통계적 유의성은 무엇인가?
• RQ4 과도한 예측 확신으로 인해 높은 분류 오차를 보이는 하위군을 식별할 수 있는가?
• RQ5 검출된 편향이 보류된 데이터에서 지속되는가? 이는 과적합을 넘어선 강건성을 의미하는가?

주요 결과

• COMPAS 데이터셋에서 원래의 디아일 모델은 여성 중 경범죄 기소자에 대해 유의미하게 과도하게 재범 가능성을 예측한다 (p = 0.035), 관측률 0.21 대 예측률 0.38.
• 25세 이하의 청소년 남성은 유의미하게 낮게 예측된다 (p < 0.005), 관측 재범률 0.60 대 예측률 0.50.
• 다섯 건 이상의 이전 기소 기록이 있는 피고인은 저예측된다 (평균 예측률 0.60, 관측률 0.72, n=1215), 반면 이전 기소 기록이 없는 피고인은 과도하게 예측된다 (예측률 0.38, 관측률 0.29, n=2085).
• 신용 연체 데이터셋에서, 세 개의 별도 간격 동안 높은 이용률 (>15%)과 연체 지불 기록이 있는 계좌는 과도하게 예측된다 (관측률 0.79, 예측률 0.90, p < 0.01, n=825).
• 신용 데이터셋에서 상위 1% 위험 고객 496명 중 470명이 과도하게 예측된 하위군에 속해 있어, 예측 조정을 통해 상위 위험 순위를 40% 이상 감소시킬 수 있음을 시사한다.
• 하위군의 복잡성에 페널티를 적용한 후, 통계적 유의성을 유지하면서도 더 단순하고 해석 가능한 하위군(예: 2~3개 특성)을 식별하여 모델의 해석 가능성 향상을 이룬다.