[논문 리뷰] Model Class Reliance: Variable Importance Measures for any Machine Learning Model Class, from the "Rashomon" Perspective

Aaron Fisher, Cynthia Rudin외 1명|arXiv (Cornell University)|2018. 01. 04.

Explainable Artificial Intelligence (XAI)인용 수 119

한 줄 요약

이 논문은 모델 클래스 의존도(Model Class Reliance, MCR)라는 새로운 프레임워크를 소개한다. MCR는 특정 공변량에 대해 어떤 모델 클래스, 알고리즘 또는 개별 모델이 얼마나 의존하는지를, 변수의 값을 교환했을 때 기대 손실의 변화를 측정하여 정량화한다. 잘 성능을 내는 모델들에 대해 확률적 경계와 신뢰 영역을 제공함으로써 다양한 모델 유형 간 비교가 가능해지고, 브로우어드 카운티 데이터를 활용한 재범 예측 모델과 같은 실제 데이터에서의 의존 패턴을 드러낸다.

ABSTRACT

Variable importance (VI) tools are typically used to examine the inner workings of prediction models. However, many existing VI measures are not comparable across model types, can obscure implicit assumptions about the data generating distribution, or can give seemingly incoherent results when multiple prediction models fit the data well. In this paper we propose a framework of VI measures for describing how much any model class (e.g. all linear models of dimension p), any model-fitting algorithm (e.g. Ridge regression with fixed regularization parameter), or any individual prediction model (e.g. a single linear model with fixed coefficient vector), relies on covariate(s) of interest. The building block of our approach, Model Reliance (MR), compares a prediction model's expected loss with that model's expected loss on a pair of observations in which the value of the covariate of interest has been switched. Expanding on MR, we propose Model Class Reliance (MCR) as the upper and lower bounds on the degree to which any well-performing prediction model within a class may rely on a variable of interest, or set of variables of interest. Thus, MCR describes reliance on a variable while accounting for the fact that many prediction models, possibly of different parametric forms, may fit the data well. We give probabilistic bounds for MR and MCR, leveraging existing results for U-statistics. These bounds can be generalized to create finite-sample confidence regions for the best-performing models from any class. We also illustrate connections between MR, conditional causal effects, and linear regression coefficients. We outline a binary search procedure to compute estimates of MCR. We then apply MR & MCR in a public dataset of Broward County criminal records to study the reliance of recidivism prediction models on sex and race, with code available at https://github.com/aaronjfisher/mcr.

연구 동기 및 목표

• 다양한 모델 클래스(예: 선형 모델, 트리 기반 모델, 신경망 등) 간 비교 가능한 변수 중요도(VI) 측정 방법의 부족을 해결하기 위해.
• 데이터 생성 과정에 대한 암묵적인 가정에 의존하지 않고, 동일한 클래스 내에서 잘 맞는 다수의 모델을 고려하는 프레임워크를 개발하기 위해.
• 최고 성능을 내는 모델들에 대해 확률적 경계와 유한 표본 신뢰 영역을 제공하여 VI 추정의 신뢰도를 향상시키기 위해.
• 모델 의존도를 조건부 인과 효과와 선형 회귀 계수와 연결하여 해석 가능성을 향상시키기 위해.
• 이진 탐색 절차를 통해 MCR를 실용적으로 추정하고, 브로우어드 카운티의 사례와 같이 실제 데이터에 적용하기 위해.

제안 방법

• 모델 의존도(MR)는 특정 공변량의 값을 교환한 관측치 쌍에서의 예측 손실과 원래 관측치에서의 예측 손실 간의 차이로 정의된다.
• 모델 클래스 의존도(MCR)는 특정 모델 클래스 내에서 잘 맞는 모든 모델에 대해 의존도의 상한과 하한을 계산함으로써 MR을 확장한다.
• U-통계량 이론을 활용하여 MR 및 MCR에 대한 확률적 경계를 유도함으로써 최적 모델에 대한 유한 표본 신뢰 영역을 가능하게 한다.
• 모델 파ameter 또는 계수 벡터의 가능한 값들 공간을 탐색함으로써 MCR를 효율적으로 추정하기 위한 이진 탐색 절차를 제안한다.
• 공개된 브로우어드 카운티 범죄 기록 데이터셋을 활용하여 재범 예측 모델에서 성별과 인종에 대한 의존도를 분석한다.
• 해당 방법은 GitHub에 공개된 오픈소스 코드로 구현되어 재현성과 광범위한 도입을 촉진한다.

실험 결과

연구 질문

• RQ1 선형 모델과 랜덤 포레스트와 같은 서로 다른 모델 클래스 간에 변수 중요도를 어떻게 의미 있게 비교할 수 있는가?
• RQ2 여러 모델이 데이터를 동일하게 잘 맞추는 경우, 잘 맞는 모델들 중에서 특정 공변량(예: 인종 또는 성별)에 얼마나 의존하는가?
• RQ3 MCR가 클래스 내 최고 성능을 내는 모델의 진짜 의존도에 대해 신뢰할 수 있는 유한 표본 신뢰 영역을 제공할 수 있는가?
• RQ4 혼동 요인 또는 모델의 잘못된 특정화가 존재할 경우, 모델 의존도가 조건부 인과 효과와 선형 회귀 계수와 어떻게 관련되는가?
• RQ5 MCR는 재범 위험 도구와 같은 실제 예측 시스템에서 공정성과 해석 가능성에 대해 어떤 통찰을 제공하는가?

주요 결과

• MCR는 클래스 내 잘 맞는 모든 모델에 대해 변수 의존도의 상한과 하한을 제공하여 단일 모델 기반 VI 측정 방법에 대한 강력한 대안을 제공한다.
• 이 프레임워크는 선형 모델과 트리 기반 모델과 같은 서로 다른 모델 클래스 간 변수 중요도를 비교할 수 있게 하며, 공통적인 파라미터 형식을 가정하지 않는다.
• U-통계량 이론에서 유도된 확률적 경계는 MCR 추정치 주변에 유한 표본 신뢰 영역을 가능하게 하여 통계적 신뢰도를 향상시킨다.
• 이진 탐색 절차를 통해 MCR의 효율적 추정이 가능해져 고차원 설정에서도 계산적으로 실현 가능해진다.
• 브로우어드 카운티 재범 데이터셋에서 MCR는 잘 맞는 모델들 간 성별과 인종에 대한 상당한 의존도를 드러내어 잠재적 공정성 문제를 제기한다.
• 모델 의존도가 조건부 인과 효과와 연결되어 있어, 기존 VI 지표를 넘어서 해석 가능성을 제공하는 길을 열어 놓는다.