[논문 리뷰] Nonparametric Feature Impact and Importance

Terence Parr, James Wilson외 1명|arXiv (Cornell University)|2020. 06. 08.

Data Analysis with R인용 수 7

한 줄 요약

이 논문은 피처의 영향력과 중요도를 모델에 의존하지 않고 데이터에서 직접 계산하는 비모수적 방법을 제안한다. 부분적 의존도 곡선을 활용하여, 모델 기반 방법에 의존하지 않는 피처 영향력 분석을 가능하게 한다. 이는 실제 데이터셋에서 모델 기반 방법보다 낮은 검증 오차를 기록하며 경쟁 가능한 성능을 달성한다. StratImpact라는 프로토타입을 도입하여 수치형 피처의 경우 부분적 의존도 곡선 아래 면적을, 범주형 피처의 경우 평균 중심화된 부분적 의존도를 기반으로 피처 영향력을 계산한다.

ABSTRACT

Practitioners use feature importance to rank and eliminate weak predictors during model development in an effort to simplify models and improve generality. Unfortunately, they also routinely conflate such feature importance measures with feature impact, the isolated effect of an explanatory variable on the response variable. This can lead to real-world consequences when importance is inappropriately interpreted as impact for business or medical insight purposes. The dominant approach for computing importances is through interrogation of a fitted model, which works well for feature selection, but gives distorted measures of feature impact. The same method applied to the same data set can yield different feature importances, depending on the model, leading us to conclude that impact should be computed directly from the data. While there are nonparametric feature selection algorithms, they typically provide feature rankings, rather than measures of impact or importance. They also typically focus on single-variable associations with the response. In this paper, we give mathematical definitions of feature impact and importance, derived from partial dependence curves, that operate directly on the data. To assess quality, we show that features ranked by these definitions are competitive with existing feature selection techniques using three real data sets for predictive tasks.

연구 동기 및 목표

• 모델 기반 피처 중요도와 데이터 기반 피처 영향력 간의 일반적인 혼동을 해결하고자 하며, 이는 잘못된 비즈니스 또는 의료 결정을 초래할 수 있다.
• 어떤 피팅된 모델에도 의존하지 않고 데이터에서 직접 피처 영향력을 계산할 수 있는 방법을 개발하고자 하며, 모델 가정에 의해 유도되는 왜곡을 피하고자 한다.
• 모델 선택 및 튜닝에 숙련된 전문 지식이 없는 사용자(예: 비즈니스 분석가)가 쉽게 사용할 수 있는 실용적이고 접근 가능한 도구를 제공하고자 한다.
• 모델에 의존하지 않는 피처 영향력 추정이 기존의 모델 기반 기법과 비교해 예측 성능 면에서 경쟁 가능한 피처 순위를 도출할 수 있음을 입증하고자 한다.
• 간단한 순위 외에도 이해 가능하고 정량적인 영향력 측정값을 제공함으로써 비모수적 피처 선택을 보다 발전시키고자 한다.

제안 방법

• 수치형 피처의 경우 피처 영향력을 수학적으로 정의하며, 이는 이상적인 부분적 의존도 곡선 아래 면적으로, 범주형 피처의 경우 평균 중심화된 부분적 의존도 곡선으로 정의한다.
• 특성과 반응의 연합 분포를 유지하기 위해 계층적 샘플링을 사용하여 부분적 의존도 곡선을 비모수적으로 추정한다.
• 피처 중요도를 부분적 의존도 곡선의 가중 적분으로 계산하며, 가중치는 피처의 주변 분포에서 유도된다.
• 실제 데이터에서 효율적이고 정확하게 부분적 의존도 곡선을 추정하기 위해 StratPD 및 CatStratPD 알고리즘을 사용한다.
• 모델 예측이나 하이퍼파라미터 튜닝이 필요 없는 Python 기반 프로토타입 도구인 StratImpact를 구현한다.
• 성능이 중요한 부분에 Numba JIT 컴파일을 적용하여 최적화하며, 파이썬의 GIL 제약에도 불구하고 런타임 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 피팅된 모델의 예측에 의존하지 않고도 피처 영향력을 의미 있게 정의하고 계산할 수 있는가?
• RQ2 비모수적이고 데이터 기반의 피처 영향력 접근법이 예측 성능 면에서 모델 기반 방법과 경쟁 가능한 피처 중요도 순위를 도출할 수 있는가?
• RQ3 SHAP, 순열 중요도, 스피어만 상관계수와 같은 기존 기법들과 비교해 모델에 의존하지 않는 피처 영향력 추정은 가장 예측력 있는 피처를 식별하는 데 얼마나 효과적인가?
• RQ4 모델에 의존하지 않는 방법이 모델 특유의 왜곡이 아닌 진정한 데이터 관계를 반영하는 해석 가능하고 정량적인 영향력 값을 제공할 수 있는가?
• RQ5 실제로 비모수적이고 모델에 의존하지 않는 피처 영향력 접근법의 계산적 트레이드오프는 어떠한가?

주요 결과

• 실제 카글 데이터셋에서 StratImpact의 피처 영향력 순위는 모델 기반 방법이 선별한 상위 피처들에 비해 검증 오차가 절반 수준이었으며, 이는 더 뛰어난 예측 성능을 의미한다.
• 수치형 피처의 경우 부분적 의존도 곡선 아래 면적, 범주형 피처의 경우 평균 중심화된 부분적 의존도를 사용함으로써 다양한 데이터 유형에 대해 강건한 피처 영향력 추정이 가능했다.
• 모델 예측을 사용하지 않았음에도 불구하고 StratImpact의 피처 순위는 순열 중요도, SHAP, 스피어만 상관계수와 경쟁 가능했으며, 특히 상위 8개 피처에서 뛰어난 성능을 보였다.
• 프로토타입은 실용적인 런타임 성능을 보였으며, 범주형 변수가 없는 데이터셋에서는 선형 스케일링을, 범주형 변수가 있는 데이터셋에서는 이차 스케일링을 보였고, 수천에서 수만 건의 샘플에 대해서도 실행 가능했다.
• Numba JIT 컴파일을 통해 핫스팟 성능 향상을 달성했지만, 파이썬의 GIL로 인해 스레딩 또는 멀티프로세싱을 통한 병렬화로의 성능 향상은 제한되었다.
• 간단하고 빠른 방법인 스피어만 상관계수와 순열 중요도가 상위 피처 순위 도출에 잘 작동하는 것으로 나타나, 모델에 의존하지 않는 접근법이 정확도 면에서 이들을 따라하거나 초월할 수 있음을 시사했다.