[논문 리뷰] A Simple and Effective Model-Based Variable Importance Measure

Brandon Greenwell, Bradley C. Boehmke외 1명|arXiv (Cornell University)|2018. 05. 12.

Data Analysis with R참고 문헌 16인용 수 69

한 줄 요약

요약: 부분 의존 플롯(PDP)을 사용하여 표준화된 모델 기반 변수 중요도 측정을 제안하고, 감독 학습 알고리즘 전반에 적용 가능하며 GBM, NN, AutoML 앙상블에서 이를 시연한다. 또한 PDP를 통해 상호작용 강도를 평가하는 방법과 Friedman의 H-통계와의 비교를 보여준다.

ABSTRACT

In the era of "big data", it is becoming more of a challenge to not only build state-of-the-art predictive models, but also gain an understanding of what's really going on in the data. For example, it is often of interest to know which, if any, of the predictors in a fitted model are relatively influential on the predicted outcome. Some modern algorithms---like random forests and gradient boosted decision trees---have a natural way of quantifying the importance or relative influence of each feature. Other algorithms---like naive Bayes classifiers and support vector machines---are not capable of doing so and model-free approaches are generally used to measure each predictor's importance. In this paper, we propose a standardized, model-based approach to measuring predictor importance across the growing spectrum of supervised learning algorithms. Our proposed method is illustrated through both simulated and real data examples. The R code to reproduce all of the figures in this paper is available in the supplementary materials.

연구 동기 및 목표

• 다양한 감독 학습 알고리즘에 걸쳐 예측 변수 중요도를 표준화된 방법으로 정량화합니다.
• 부분 의존 플롯을 통해 예측 변수와 결과 간의 추정 관계와의 연결 고리를 제시합니다.
• 앙상블 및 복잡한 모델(예: 스태킹, AutoML)에 대한 변수 중요성 해석을 허용합니다.
• PDP를 사용해 예측 변수 간 상호 작용 효과를 평가하는 메커니즘을 제공합니다.

제안 방법

• 적합된 모델에서 각 예측 변수에 대한 부분 의존 함수를 계산합니다.
• 연속형 예측 변수는 PDP의 평탄도 척도로, 샘플 표준편차를 사용하고, 범주형 예측 변수는 (범위/4)를 사용해 변수 중요도를 정량화합니다.
• 알고리즘 1을 적용하여 각 예측 변수에 대해 값의 격자(grid)에서 PDP 값을 생성합니다.
• 선형 모델에서는 제안된 척도가 독립성과 균일성 하에서 표준 t-통계 기반 해석에 대응함을 보입니다.
• 공동 PDP의 표준편차를 통해 상호 작용 강도를 확장하고 Friedman의 H-통계와의 비교를 논의합니다.

실험 결과

연구 질문

• RQ1 단일하고 모델 무관한 변수 중요도 점수를 PDP를 통해 정의할 수 있어 다양한 알고리즘에서 해석 가능할까요?
• RQ2 PDP의 평탄도(변동성)가 예측된 결과에 대한 예측력에 신뢰할 수 있게 영향을 나타내나요?
• RQ3 PDP 기반 중요도는 예측 변수 간 상호 작용 효과를 어떻게 정량화할 수 있나요?
• RQ4 Ames 주택 데이터 같은 실제 데이터와 AutoML/스택형 앙상블에서 PDP 기반 중요도는 실무에서 어떻게 작동하나요?

주요 결과

• PDP 기반 중요도 척도는 실제 데이터에서 직관적 중요도와 일치하며 모델별 중요도(예: GBMs)를 모방하거나 개선할 수 있습니다.
• Ames 주택 예제에서 Overall_Qual, Neighborhood, Gr_Liv_Area가 상위 예측변수로 나타나며, 기존 중요도와 비교해 일부 재정렬이 있습니다.
• 이 방법은 Friedman의 회귀 NN 예에서 진짜 예측 변수의 식별에 올바른 값을 제공하며, Garson과 Olden보다 실제 변수 인식을 더 잘 수행합니다.
• 이 접근법은 스택드 앙상블과 AutoML에도 여전히 적용 가능하며, 복잡한 파이프라인의 변수 중요도 해석을 가능하게 합니다.
• 공동 PDP 표준편차를 사용한 상호 작용 강도 진단은 실제 상호 작용(x1과 x2 등)을 식별하고, 일부 경우 Friedman의 H-통계보다 더 나은 성능을 보일 수 있습니다.