[논문 리뷰] Detecting Bias in Black-Box Models Using Transparent Model Distillation.

Sarah Tan, Rich Caruana외 2명|arXiv (Cornell University)|2017. 10. 17.

Explainable Artificial Intelligence (XAI)참고 문헌 16인용 수 30

한 줄 요약

이 논문은 투명한 모델 정수 방법을 제안하여 검정된 모델의 편향을 탐지한다. 이는 투명한 학생 모델을 흑상자 모델의 예측 위험 점수와 실제 결과에 대해 동시에 훈련시켜, 두 모델 간의 보호 특성 기여도의 차이에 대한 신뢰구간을 사용하여 통계적으로 유의미한 격차를 식별함으로써 편향을 탐지한다.

ABSTRACT

Black-box risk scoring models permeate our lives, yet are typically proprietary and opaque. We propose a transparent model distillation approach to detect bias in such models. Model distillation was originally designed to distill knowledge from a large, complex teacher model to a faster, simpler student model without significant loss in prediction accuracy. We add a third restriction - transparency. In this paper we use data sets that contain two labels to train on: the risk score predicted by a black-box model, as well as the actual outcome the risk score was intended to predict. This allows us to compare models that predict each label. For a particular class of student models - interpretable tree additive models with pairwise interactions (GA2Ms) - we provide confidence intervals for the difference between the risk score and actual outcome models. This presents a new method for detecting bias in black-box risk scores by assessing if contributions of protected features to the risk score are statistically different from their contributions to the actual outcome.

연구 동기 및 목표

• 고위험 의사결정에서 사용되는 기밀성과 투명성이 없는 위험 점수 모델의 편향을 탐지하는 과제를 해결한다.
• 기존의 공정성 감사의 한계를 극복하기 위해 모델 예측과 실제 세계 결과를 직접 비교한다.
• 지식 정수 과정 중 예측 정확도를 유지하면서도 투명성을 유지하는 방법을 개발한다.
• 위험 점수와 실제 결과 간의 보호 특성 기여도 차이를 정량화하여 편향 탐지를 가능하게 한다.
• 해석 가능한 모델에서 구간 추정을 통해 편향 탐지에 대한 통계적 신뢰를 제공한다.

제안 방법

• 흑상자 모델의 위험 점수와 실제 결과를 모두 예측할 수 있도록 투명한 학생 모델(GA2M)을 훈련한다.
• 지식 정수를 통해 흑상자 교사 모델의 지식을 최소한의 정확도 손실로 학생 모델로 이전한다.
• 투명성을 제3의 제약 조건으로 도입하여 학생 모델이 해석 가능하고 특성 기여도를 명시적으로 모델링하도록 보장한다.
• 위험 점수와 실제 결과에 대해 별도의 모델을 훈련시어 보호 특성 영향의 직접 비교를 가능하게 한다.
• 두 모델 간의 보호 특성 기여도 차이에 대한 신뢰구간을 계산하여 통계적 유의성을 평가한다.
• GA2M에서 쌍별 상호작용 항을 사용하여 복잡한 특성 관계를 모델링하면서도 해석 가능성을 유지한다.

실험 결과

연구 질문

• RQ1 투명한 모델 정수는 기존 방법보다 흑상자 위험 점수 모델의 편향을 더 효과적으로 탐지할 수 있는가?
• RQ2 위험 점수에 대한 보호 특성의 기여도가 실제 결과에 대한 기여도와 통계적으로 다를 수 있는가?
• RQ3 신뢰구간의 사용이 모델 정수 과정에서 편향 탐지의 신뢰성을 향상시키는가?
• RQ4 투명한 학생 모델은 편향 탐지 기능을 유지하면서도 예측 정확도를 얼마나 잘 유지하는가?
• RQ5 이 방법은 흑상자 모델의 내부 구조에 접근할 수 없어도 편향을 탐지할 수 있는가?

주요 결과

• 위험 점수와 실제 결과 간의 보호 특성 기여도에 통계적으로 유의미한 차이를 성공적으로 식별하여 잠재적 편향을 시사한다.
• 특성 기여도의 차이에 대한 신뢰구간은 편향 탐지에 신뢰할 수 있는 통계적 기반을 제공한다.
• 해석 가능한 GA2M 모델의 사용은 보호 특성이 예측에 어떻게 영향을 주는지 명확하게 시각화하고 해석할 수 있게 한다.
• 지식 정수 과정은 흑상자 모델에서 투명한 학생 모델로 지식을 이전하면서도 높은 예측 정확도를 유지한다.
• 흑상자 모델이 완전히 투명하지 않더라도 입력-출력 행동만으로도 편향을 탐지할 수 있다.
• 이 방법은 보호 특성이 위험 점수에 강한 영향을 주지만 실제 결과에는 최소한의 영향을 주는 경우를 드러내어 공정성 문제의 신호를 제공한다.