[논문 리뷰] Visualizing the Effects of Predictor Variables in Black Box Supervised Learning Models

Daniel W. Apley, Jingyu Zhu|arXiv (Cornell University)|2016. 12. 27.

Data Analysis with R참고 문헌 13인용 수 259

한 줄 요약

누적 로컬 효과(ALE) 플롯을 도입하여 블랙박스 모델에서 예측자 효과를 시각화하고, PD 플롯의 외삽 문제와 M 플롯의 편향을 해결하면서 계산 비용을 줄이고 사용 가능한 R 패키지 ALEPlot을 제공한다.

ABSTRACT

When fitting black box supervised learning models (e.g., complex trees, neural networks, boosted trees, random forests, nearest neighbors, local kernel-weighted methods, etc.), visualizing the main effects of the individual predictor variables and their low-order interaction effects is often important, and partial dependence (PD) plots are the most popular approach for accomplishing this. However, PD plots involve a serious pitfall if the predictor variables are far from independent, which is quite common with large observational data sets. Namely, PD plots require extrapolation of the response at predictor values that are far outside the multivariate envelope of the training data, which can render the PD plots unreliable. Although marginal plots (M plots) do not require such extrapolation, they produce substantially biased and misleading results when the predictors are dependent, analogous to the omitted variable bias in regression. We present a new visualization approach that we term accumulated local effects (ALE) plots, which inherits the desirable characteristics of PD and M plots, without inheriting their preceding shortcomings. Like M plots, ALE plots do not require extrapolation; and like PD plots, they are not biased by the omitted variable phenomenon. Moreover, ALE plots are far less computationally expensive than PD plots.

연구 동기 및 목표

• 블랙박스 모델에서 주요 효과와 저차수 상호작용의 시각화 필요성에 대해 동기를 부여한다.
• 예측변수가 종속되었거나 독립성에서 멀리 떨어져 있을 때 PD 플롯과 M 플롯의 한계를 식별한다.
• 외삽과 편향을 피하면서도 계산적으로 효율적인 ALE 플롯을 제안한다.
• 이론적 속성, 실용적 정의 및 구현 경로(R 패키지 ALEPlot)를 제공한다.

제안 방법

• 예측자 효과의 시각화로서 누적 로컬 효과(ALE)를 정의한다.
• ALE 플롯은 학습 데이터 경계 밖으로의 외삽이 필요하지 않음을 보여준다.
• ALE 플롯은 PD 플롯에 내재된 생략 변수 문제로 인한 편향이 없음을 보인다.
• ALE 플롯의 계산 비용이 PD 플롯에 비해 현저히 더 효율적임을 비교한다.
• 업데이트 버전에서 refined한 ALE 정의, 설명적 예제 및 점근적 속성을 참조한다.
• ALEPlot R 패키지를 통한 구현 세부 정보를 제공한다.

실험 결과

연구 질문

• RQ1 ALE 플롯이 학습 데이터 경계 밖으로 외삽하지 않고 예측자 효과를 정확히 반영할 수 있는가?
• RQ2 예측변수가 서로 의존할 때 PD 플롯이 직면하는 생략 변수 편향을 ALE 플롯이 피하는가?
• RQ3 일반적인 블랙박스 모델에서 ALE 플롯이 부분 의존(Partial Dependence) 플롯보다 계산적으로 더 효율적인가?
• RQ4 ALE 효과와 추정기의 점근적 성질 및 실용적 정의는 무엇인가?
• RQ5 제안된 방법이 설명적 예제 및 실제 데이터 상황에서 어떻게 작동하는가?

주요 결과

• ALE 플롯은 PD 및 M 플롯의 주요 단점을 제거한 우호적 특성(외삽 없음, 편향 감소)을 상속한다.
• 예측변수가 의존할 때 PD 플롯이 가지는 생략 변수 문제로부터 ALE 플롯은 편향되지 않는다.
• ALE 플롯은 PD 플롯에 비해 계산적으로 훨씬 효율적이다.
• CRAN에서 제공되는 R 패키지 ALEPlot으로 이러한 플롯을 구현할 수 있으며, 업데이트 버전에서 정의와 이론적 속성이 더 정교해졌다.