[논문 리뷰] A Machine Learning Alternative to P-values

Min Lü, Hemant Ishwaran|arXiv (Cornell University)|2017. 01. 18.

Statistical Methods and Inference참고 문헌 7인용 수 3

한 줄 요약

이 논문은 회귀 모델에서 p-값의 광범위한 오용과 한계를 해결하기 위해, out-of-bag (OOB) 예측 오차를 기반으로 한 변수 중요도(VIMP)를 제안한다. 변수를 '노이즈화'할 때 모델 예측 성능이 얼마나 떨어지는지를 측정함으로써, VIMP는 모형에 종속되지 않은 과학적으로 해석 가능한 효과 크기 측정치를 제공하며, 모형 오특성 하에서도 유효하게 유지되어, 파라미터 모형과 비모수 모형 모두에서 p-값보다 신뢰성과 해석 가능성 면에서 뛰어나다.

ABSTRACT

This paper presents an alternative approach to p-values in regression settings. This approach, whose origins can be traced to machine learning, is based on the leave-one-out bootstrap for prediction error. In machine learning this is called the out-of-bag (OOB) error. To obtain the OOB error for a model, one draws a bootstrap sample and fits the model to the in-sample data. The out-of-sample prediction error for the model is obtained by calculating the prediction error for the model using the out-of-sample data. Repeating and averaging yields the OOB error, which represents a robust cross-validated estimate of the accuracy of the underlying model. By a simple modification to the bootstrap data involving "noising up" a variable, the OOB method yields a variable importance (VIMP) index, which directly measures how much a specific variable contributes to the prediction precision of a model. VIMP provides a scientifically interpretable measure of the effect size of a variable, we call the "predictive effect size", that holds whether the researcher's model is correct or not, unlike the p-value whose calculation is based on the assumed correctness of the model. We also discuss a marginal VIMP index, also easily calculated, which measures the marginal effect of a variable, or what we call "the discovery effect". The OOB procedure can be applied to both parametric and nonparametric regression models and requires only that the researcher can repeatedly fit their model to bootstrap and modified bootstrap data. We illustrate this approach on a survival data set involving patients with systolic heart failure and to a simulated survival data set where the model is incorrectly specified to illustrate its robustness to model misspecification.

연구 동기 및 목표

• 회귀 분석에서 p-값의 광범위한 오용과 한계, 특히 모형 가정의 정확성에 의존하는 점을 해결하기 위해.
• 모형 오특성에 강건하며 과학적으로 해석 가능한 효과 크기 측정치를 제공하기 위해.
• 부트스트래핑 샘플링에서의 OOB 오차를 이용해 통계적 유의성 대신 예측 중요도로 대체하기 위해.
• 예측 효과 크기용 VIMP와 발견 효과 크기용 마진널 VIMP의 두 가지 유형의 변수 중요도를 도입하기 위해.
• 실제 및 시뮬레이션된 생존 데이터를 활용해, 정확하거나 잘못 지정된 모형 모두에서 이 방법의 강건성과 유용성을 입증하기 위해.

제안 방법

• 부트스트래핑 샘플링에서의 out-of-bag (OOB) 오차를 모델 예측 오차의 교차검증 추정치로 사용한다.
• 변수의 기여도를 평가하기 위해 부트스트랩 샘플에서 그 변수의 계수를 0으로 설정하는 '노이즈화' 절차를 적용한다.
• 변수를 노이즈화했을 때 OOB 예측 오차가 평균적으로 얼마나 증가하는지 계산함으로써 VIMP를 산출하며, 이는 그 변수의 예측 중요도를 정량화한다.
• 모델에 변수를 추가했을 때의 예측 성능 향상 정도를 측정하는 마진널 VIMP로 방법을 확장한다.
• 파라미터 모형(예: 코ックス 회귀)과 비모수 모형(예: 랜덤 생존 숲) 모두에 OOB 절차를 적용한다.
• 비선형 효과를 모델링하기 위해 B-스플라인을 사용하며, 단일 예측 변수에 대한 다중 스플라인 항목의 조합 효과를 평가하기 위해 클러스터-VIMP를 계산한다.

실험 결과

연구 질문

• RQ1 예측 오차를 기반으로 한 변수 중요도 측정치가 회귀 설정에서 p-값의 신뢰할 수 있는 대체제가 될 수 있는가?
• RQ2 p-값이 무효해지는 모형 오특성 하에서 제안된 VIMP 지표는 어떻게 성능을 보이는가?
• RQ3 VIMP는 모형의 정확성 여부와 무관하게 과학적으로 해석 가능한 효과 크기를 제공할 수 있는가?
• RQ4 기존의 최대우도비검정과 비교했을 때 마진널 VIMP는 새로운 예측 변수를 식별하는 데 어떻게 성능을 보이는가?
• RQ5 VIMP는 복잡한 비선형 관계를 포함한 파라미터 모형과 비모수 모형 모두에 효과적으로 적용될 수 있는가?

주요 결과

• VIMP 지표는 모형 가정 위반 시에도 유효한 강건하고 해석 가능한 예측 효과 크기 측정치를 제공한다.
• 모형 지정이 잘못된 시뮬레이션된 생존 데이터에서는 VIMP가 종양 부피가 매우 예측 가능한 것으로 정확히 식별한 반면, p-값은 모형 불일치로 인해 이를 반영하지 못했다.
• 종양 부피의 비선형 효과를 B-스플라인을 적용한 후 OOB 모델 오차는 43%에서 40%로 감소했으며, 종양 부피의 VIMP는 2.27로 증가하여 예측 관련성이 향상됨을 시사했다.
• PSA의 마진널 VIMP는 4.20, 종양 부피의 마진널 VIMP는 2.27로, 순서통일지수 기반으로 다양한 데이터셋 간에 유사한 수준을 보여, 다양한 데이터셋 간 표준화가 가능함을 확인했다.
• 이 방법은 종양 부피가 생존과 비선형 관계를 가짐을 성공적으로 식별했으며, 이는 선형 모형에서는 간과되었지만 B-스플라인 기반 VIMP에 의해 포착되었다.
• 클러스터-VIMP를 통해 단일 변수의 다중 스플라인 항목 조합의 통합 예측 중요도를 평가할 수 있었으며, 이는 결과의 해석 가능성 향상에 기여했다.