[논문 리뷰] All Models are Wrong but many are Useful: Variable Importance for Black-Box, Proprietary, or Misspecified Prediction Models, using Model Class Reliance

Aaron Fisher, Cynthia Rudin외 1명|arXiv (Cornell University)|2018. 01. 04.

Statistical Methods and Bayesian Inference인용 수 87

한 줄 요약

이 논문은 블랙박스 또는 기밀 모델에서 변수 중요도의 불안정성을 다루기 위해, 사전에 정의된 모델 클래스 내에서 잘 작동하는 모든 모델에 걸쳐 변수 중요도를 평가할 수 있는 Model Class Reliance (MCR)를 소개한다. 확률적 경계를 유도하고, 순열 기반 중요도를 U-통계량과 인과 효과에 연결함으로써, MCR는 인과적 예측 변수인 성별 및 인종과 같은 민감한 속성에 대한 의존도 평가에 있어 강건하고 일반화 가능한 프레임워크를 제공한다.

ABSTRACT

Variable importance (VI) tools describe how much covariates contribute to a prediction model's accuracy. However, important variables for one well-performing model (for example, a linear model $f(\mathbf{x})=\mathbf{x}^{T}\beta$ with a fixed coefficient vector $\beta$) may be unimportant for another model. In this paper, we propose model class reliance (MCR) as the range of VI values across all well-performing model in a prespecified class. Thus, MCR gives a more comprehensive description of importance by accounting for the fact that many prediction models, possibly of different parametric forms, may fit the data well. In the process of deriving MCR, we show several informative results for permutation-based VI estimates, similar to the VI measures used in Random Forests. Specifically, we derive connections between permutation importance estimates for a single prediction model, U-statistics, conditional causal effects, and linear model coefficients. We then give probabilistic bounds for MCR, using a novel, generalizable technique. We apply MCR in a public dataset of Broward County criminal records to study the reliance of recidivism prediction models on sex and race. In this application, MCR can be used to help inform VI for unknown, proprietary models.

연구 동기 및 목표

• 다양한 잘 맞는 모델들 사이에서 변수 중요도 측정치의 불안정성을 해결하기 위해, 특히 블랙박스 또는 기밀 시스템에서의 문제를 다루는 것.
• 단일 모델에 의존하지 않고 모델 클래스의 변동성을 고려한 종합적인 변수 중요도 측정법을 개발하는 것.
• 새로운 일반화 가능한 기법을 사용해 순열 기반 중요도 추정치에 대한 확률적 경계를 유도하는 것.
• 인종 및 성별과 같은 민감한 속성에 대한 의존도를 정량화하여, 예측 모델의 윤리적 고려사항과 해석 가능성 문제를 해결하는 데 기여하는 것, 특히 재범 위험 도구와 같은 고위험 예측 모델에서의 적용을 목적으로 한다.

제안 방법

• 사전에 정의된 모델 클래스 내에서 잘 작동하는 모든 모델에 대해 변수 중요도 값의 범위로 Model Class Reliance (MCR)를 정의한다.
• 순열 기반 변수 중요도 추정치를 사용하고, 이를 U-통계량과 연결하여 이론적 성질과 안정성 보장을 도출한다.
• 순열 중요도와 조건부 인과 효과, 선형 모델 계수 사이의 관계를 설정하여 예측 모델링의 해석 가능성을 향상시킨다.
• 다양한 모델 클래스와 데이터 유형에 적용 가능한 새로운 일반화 가능한 기법을 사용해 MCR에 대한 확률적 경계를 유도한다.
• 공개된 브로워드 카운티 범죄 기록 데이터셋을 활용해 재범 예측 모델에서 성별 및 인종에 대한 의존도를 평가한다.

실험 결과

연구 질문

• RQ1 주어진 모델 클래스 내에서 서로 다른 잘 작동하는 모델들 사이에서 변수 중요도는 어떻게 변하는가?
• RQ2 순열 기반 변수 중요도 추정치는 공식적으로 U-통계량과 인과 효과에 연결될 수 있는가?
• RQ3 모델 형태가 불확실하거나 알려져 있지 않을 경우, 변수 중요도에 대한 확률적 경계는 무엇인가?
• RQ4 MCR는 기밀 또는 블랙박스 모델이 인종 및 성별과 같은 민감한 속성에 얼마나 의존하는지 평가하는 데 어떻게 기여하는가?
• RQ5 MCR는 실제 예측 시스템에서의 해석 가능성과 공정성 평가를 어느 정도 향상시킬 수 있는가?

주요 결과

• MCR는 모델 클래스 내에서 잘 작동하는 모든 모델에 대해 변수 중요도 값의 범위를 제공하여, 단일 모델 중요도보다 더 강건하고 종합적인 측정법을 제공한다.
• 순열 기반 변수 중요도 추정치는 공식적으로 U-통계량과 연결되어 있어 이론적 분석과 안정성 평가가 가능해진다.
• 이 방법은 순열 중요도와 조건부 인과 효과 사이의 관계를 설정함으로써 예측 모델링의 해석 가능성을 향상시킨다.
• MCR에 대한 확률적 경계는 새로운 일반화 가능한 기법을 사용해 도출되었으며, 이는 모델 형태가 알려지지 않은 경우에도 추론을 가능하게 한다.
• 브로워드 카운티 재범 데이터셋에서 MCR는 잘 맞는 모델들 사이에서 인종 및 성별에 대한 의존도에 상당한 변동이 있음을 드러내어, 모델 클래스 의존성을 강조한다.
• MCR는 내부 구조가 접근 불가능한 기밀 또는 블랙박스 모델에 대해서도 의미 있는 변수 중요도 평가를 가능하게 한다.