[논문 리뷰] Unrestricted Permutation forces Extrapolation: Variable Importance Requires at least One More Model, or There Is No Free Variable Importance

Giles Hooker, Lucas Mentch외 1명|arXiv (Cornell University)|2019. 05. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 45인용 수 38

한 줄 요약

이 논문은 블랙박스 모델에서 특성 중요도를 평가하는 permute-and-predict(PaP) 방법의 결함을 비판하며, 추정 외삽으로 인해 상관된 특성이 과도하게 강조될 수 있음을 보이고, 재학습 또는 조건적 섭동 접근법을 더 신뢰할 수 있는 대안으로 제시한다.

ABSTRACT

This paper reviews and advocates against the use of permute-and-predict (PaP) methods for interpreting black box functions. Methods such as the variable importance measures proposed for random forests, partial dependence plots, and individual conditional expectation plots remain popular because they are both model-agnostic and depend only on the pre-trained model output, making them computationally efficient and widely available in software. However, numerous studies have found that these tools can produce diagnostics that are highly misleading, particularly when there is strong dependence among features. The purpose of our work here is to (i) review this growing body of literature, (ii) provide further demonstrations of these drawbacks along with a detailed explanation as to why they occur, and (iii) advocate for alternative measures that involve additional modeling. In particular, we describe how breaking dependencies between features in hold-out data places undue emphasis on sparse regions of the feature space by forcing the original model to extrapolate to regions where there is little to no data. We explore these effects across various model setups and find support for previous claims in the literature that PaP metrics can vastly over-emphasize correlated features in both variable importance measures and partial dependence plots. As an alternative, we discuss and recommend more direct approaches that involve measuring the change in model performance after muting the effects of the features under investigation.

연구 동기 및 목표

• PaP(permute-and-predict) 방법의 변수 중요도 및 관련 플롯(VI, PDP, ICE)의 결함을 보여주는 문헌 검토.
• 시뮬레이션과 설명을 통해 특성 의존성이 PaP 지표의 추정 외삽 편향을 어떻게 유발하는지 Demonstrate한다.
• 추가 모델링 또는 조건적 섞임 없이 외삽을 피하기 위한 대체 중요도 지표를 옹호한다.
• 블랙박스 모델 해석의 실용적 함의를 논의하고 재학습 또는 조건적 섀도우를 포함하는 골드-스탠다드 접근법을 제시한다.

제안 방법

• 10개의 특성과 제어된 상관 구조를 가진 간단한 시뮬레이션 선형 모델을 제시하여 PaP 지표의 편향을 설명한다.
• 기본 함수를 추정하기 위해 랜덤 포레스트와 신경망을 학습시키고 VI^π, VI^o, PDP, ICE를 계산한다.
• 표준화 하에서 선형 모델의 경우 순열 중요도(permutation importance)가 제곱 계수와 특징의 한계 제곱합(marginal sum of squares)에 대응한다는 이론적 연결(정리 1)을 제시한다.
• 다양한 상관 ρ와 샘플 크기 N에 따라 등고선 플롯, ICE, PDP 분석을 통해 외삽 효과를 시각화한다.
• 조건부 섀도우나 재학습을 포함하는 PaP과 대조되는 대안을 비교한다(LOCO, Knockoffs, 모델 클래스 의존성).
• 트리 기반 모델과 신경망의 외삽 메커니즘을 pNN(potential nearest neighbors) 및 leaves의 개념으로 논의한다.
• 더 강건한 중요도 지표를 언제 어떻게 사용할지에 대한 지침을 제공한다.

실험 결과

연구 질문

• RQ1 특성 간의 통계적 종속성이 있을 때 PaP 기반 변수 중요도 지표는 어떻게 작동하는가?
• RQ2 상관된 특성은 PaP 방법이 특정 변수의 중요도를 과대평가하거나 실제 중요도를 오해하게 만들 정도로 작용하는가?
• RQ3 remaining features를 조건으로 하거나 모델을 재학습하는 대안은 특성 중요도의 외삽 편향을 완화할 수 있는가?
• RQ4 표준화하에서 순열 중요도와 선형 모델 계수 간의 이론적 연결은 무엇인가?
• RQ5 블랙박스 모델의 해석을 보다 신뢰성 있게 보장하기 위한 실용적 권고는 무엇인가?

주요 결과

• PaP 지표는 특성 간 의존성이 있을 때 변수를 포함한 중요도와 부분 의존도(PD) 플롯에서 상관된 특성을 과도하게 강조할 수 있다.
• 표준화된 특징을 가진 선형 모델에서 순열 중요도는 제곱 계수 곱하기 특성의 모듈러 제곱합(marginal sum of squares)과 대응하며 계수의 크기와 정렬되지만, 상관관계가 있는 경우 RF, NN 같은 유연한 모델에서 외삽으로 인해 이 관계가 깨진다.
• 외삽은 PaP가 데이터가 거의 없거나 없는 영역의 예측을 평가하게 만들어 상관된 특성의 중요도를 과대평가한다.
• 부분 의존도(Partial Dependence) 및 ICE 플롯은 상관이 있을 때 특성 효과를 잘못 나타낼 수 있으며, 신경망에서 더 큰 불안정성을 보인다(랜덤 포레스트에 비해).
• remaining features를 조건으로 두거나 모델을 재학습하는 대안(예: LOCO, 조건부 무작위화 테스트, Knockoffs)은 외삽을 피하고 더 신뢰할 만한 중요도 평가를 제공한다.
• 조건-재학습 프레임워크(조건화 + 재학습)를 특성 중요도 평가의 골드 스탠다드로 제안하되, 문제에서 완전히 면역하지는 않다.