[논문 리뷰] All Models are Wrong, but Many are Useful: Learning a Variable's Importance by Studying an Entire Class of Prediction Models Simultaneously

Aaron Fisher, Cynthia Rudin외 1명|arXiv (Cornell University)|2018. 01. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 66인용 수 1,156

한 줄 요약

이 논문은 Model Class Reliance (MCR)와 Model Reliance (MR)를 도입하여 사전에 정의된 클래스의 모든 잘 작동하는 모델에서 공변량이 얼마나 많이 사용되는지 정량화하며, 단일 모델이 아닌 근사 최적 모델들의 전체 집합을 분석함으로써 Rashomon 효과를 다룬다.

ABSTRACT

Variable importance (VI) tools describe how much covariates contribute to a prediction model's accuracy. However, important variables for one well-performing model (for example, a linear model $f(\mathbf{x})=\mathbf{x}^{T}β$ with a fixed coefficient vector $β$) may be unimportant for another model. In this paper, we propose model class reliance (MCR) as the range of VI values across all well-performing model in a prespecified class. Thus, MCR gives a more comprehensive description of importance by accounting for the fact that many prediction models, possibly of different parametric forms, may fit the data well. In the process of deriving MCR, we show several informative results for permutation-based VI estimates, based on the VI measures used in Random Forests. Specifically, we derive connections between permutation importance estimates for a single prediction model, U-statistics, conditional variable importance, conditional causal effects, and linear model coefficients. We then give probabilistic bounds for MCR, using a novel, generalizable technique. We apply MCR to a public data set of Broward County criminal records to study the reliance of recidivism prediction models on sex and race. In this application, MCR can be used to help inform VI for unknown, proprietary models.

연구 동기 및 목표

• Rashomon 효과를 동기화한다: 여러 개의 잘 맞는 모델이 예측을 위해 서로 다른 공변량에 의존할 수 있다.
• Permutation 기반의 손실 스위칭 방식으로 단일 모델이 공변량에 얼마나 의존하는지 측정하기 위해 MR을 정의한다.
• 사전에 정의된 클래스의 모든 잘 작동하는 모델에서 MR 값의 범위인 MCR로 MR을 확장한다.
• 데이터로부터 MCR를 추정하기 위한 유한 샘플 경계와 실용적 계산 방법을 개발한다.
• 공개 형사司法 데이터 세트에 프레임워크를 적용하여 COMPAS 점수에서 인종, 성별 또는 이들의 프록시 의존도를 평가한다.

제안 방법

• Model class reliance (MCR)를 near-optimal 예측기들의 Rashomon 세트에 속한 모든 모델의 MR 값 범위로 정의한다.
• 고정된 모델에 대해 MR을 X1이 섞일 때의 손실과 원래 손실의 비율로 정의한다.
• MR을 U-statistics와 연결하여 편향 없는 추정치와 점근적 특성을 확립한다.
• 모델 클래스를 포함하는 볼록 엔벌로프를 산출하는 일반 최적화 절차를 통해 경험적 MCR 추정을 제공한다.
• (정규화된) 선형 모델과 커널 기반 모델에 대한 구체적 구현을 제공하고, 가법 모델 및 조건부 인과 효과와의 연결을 제시한다.
• 유한 샘플 경계와 부트스트랩을 사용해 실용적인 신뢰 구간을 구성하는 방법을 논의한다.

실험 결과

연구 질문

• RQ1 잘 작동하는 모델이 인공 변수 X1에 얼마나 의존하더라도 여전히 근사 최적 예측 정확도에 도달할 수 있는가?
• RQ2 Rashomon 세트 내의 모든 모델에서 변수 중요도의 변동성을 어떻게 요약할 수 있는가?
• RQ3 MR 및 MCR 추정기의 이론적 특성(편향되지 않음, 점근성)은 무엇인가?
• RQ4 선형 및 커널 방법과 같은 일반적인 모델 클래스에 대해 MR/MCR을 실제로 어떻게 계산할 수 있는가?
• RQ5 MR/MCR이 COMPAS와 같은 독점 예측 모델에서 민감 속성(예: 인종, 성별)의 역할에 대해 무엇을 밝히는가?

주요 결과

• MR은 스위치 기반 손실을 통해 개별 모델이 X1에 의존하는 정도를 정량화하며, 높은 MR은 X1에 대한 더 큰 의존을 나타낸다.
• MCR은 정의된 클래스 내의 모든 잘 작동하는 모델들에 걸친 범위 [MCR_-, MCR_+]로 MR을 확장하여 Rashomon 효과를 포착한다.
• MR 추정치는 편향되지 않으며, 표준 조건에서 U-statistics로서 점근적으로 정상적이고, 경험적 MCR 경계는 의미 있는 유한 샘플 보장을 제공한다.
• 일반 최적화 절차는 어떤 epsilon(성능 허용오차)에 대해서도 경험적 MCR을 한정하는 볼록 엔벌로프를 산출한다.
• Broward County 재범 데이터 적용은 인종, 성별 및 이들의 프록시가 COMPAS 점수의 주요 예측변수는 아닐 수 있음을 시사하며, 독점 모델을 면밀히 검토하는 데 MCR의 활용성을 보여준다.