[논문 리뷰] A Debiased MDI Feature Importance Measure for Random Forests

Xiao Li, Yu Wang외 3명|arXiv (Cornell University)|2019. 06. 26.

Machine Learning and Data Classification참고 문헌 31인용 수 74

한 줄 요약

본 논문은 Random Forest에서 Mean Decrease Impurity (MDI)의 유한표본 바이어스를 분석하고, out-of-bag 샘플로 계산된 편향 보정된 MDI 지표인 MDI-oob를 도입하여 특징 선택을 향상시키며, 시뮬레이션 및 게놈 ChIP 데이터에서 향상된 성능을 보임을 보인다.

ABSTRACT

Tree ensembles such as Random Forests have achieved impressive empirical success across a wide variety of applications. To understand how these models make predictions, people routinely turn to feature importance measures calculated from tree ensembles. It has long been known that Mean Decrease Impurity (MDI), one of the most widely used measures of feature importance, incorrectly assigns high importance to noisy features, leading to systematic bias in feature selection. In this paper, we address the feature selection bias of MDI from both theoretical and methodological perspectives. Based on the original definition of MDI by Breiman et al. for a single tree, we derive a tight non-asymptotic bound on the expected bias of MDI importance of noisy features, showing that deep trees have higher (expected) feature selection bias than shallow ones. However, it is not clear how to reduce the bias of MDI using its existing analytical expression. We derive a new analytical expression for MDI, and based on this new expression, we are able to propose a debiased MDI feature importance measure using out-of-bag samples, called MDI-oob. For both the simulated data and a genomic ChIP dataset, MDI-oob achieves state-of-the-art performance in feature selection from Random Forests for both deep and shallow trees.

연구 동기 및 목표

• 유한샘플 Random Forest에서 MDI의 비수렴적 편향 특성 파악.
• 편향 감소를 가능하게 하는 MDI의 새로운 분석식 도출.
• 피처 중요도 편향 보정을 위한 out-of-bag 기반 MDI 지표인 MDI-oob 제안.
• 시뮬레이션 및 게놈 데이터에서 다른 중요도 척도와 비교하여 MDI-oob의 성능 시연.

제안 방법

• 개별 트리 및 앙상블(Breiman et al.)에 대한 MDI 정의의 검토.
• 완화된 가정 하에서 노이즈 피처에 대한 MDI의 기대 편향에 대한 비수렴적 상한 도출.
• 샘플 공분산과 y 간의 함수 f_{T,k}(X)를 통해 MDI를 연결하는 새로운 분석식 도입.
• MDI를 out-of-bag 샘플을 이용하고 새로운 MDI 표현식을 이용해 계산하여 MDI-oob 제안.
• 깊이와 최소 리프 크기 m_n이 편향(G0(T))에 미치는 영향에 대한 이론적 논의.
• 시뮬레이션 데이터와 게놈 ChIP 데이터에서 MDI-oob를 다른 피처 중요도 지표와 비교하는 경험적 평가.

실험 결과

연구 질문

• RQ1 다양한 리프 크기 및 깊이를 갖는 Random Forest에서 노이즈 피처의 유한샘플 편향은 얼마나 큰가?
• RQ2 out-of-bag 샘플을 이용한 편향 제거를 가능하게 하는 MDI의 새로운 분석적 표현이 있는가?
• RQ3 MDI-oob가 시뮬레이션과 실제 게놈 데이터에서 표준 MDI 및 다른 척도에 비해 피처 선택 성능을 향상시키는가?
• RQ4 트리의 깊이와 최소 리프 크기가 편향 및 편향 제거의 효과에 어떤 영향을 미치는가?
• RQ5 MDI-oob가 SHAP, MDA, cforest 및 기타 피처 중요도 척도와 비교하여 노이즈 피처 식별의 AUC 측면에서 어떤 차이가 있는가?

주요 결과

• 노이즈 피처에 대한 MDI 피처 중요도는 트리가 깊어지고 리프가 작아질수록 증가하여 유한샘플 편향이 있음을 나타내고(다음에 비례하는 d_n log(np)/m_n의 밀접한 상한),
• 새로운 분석식은 MDI를 y와 피처별 함수 f_{T,k}(X) 간의 샘플 공분산으로 보여주어 out-of-bag 기반 평가를 가능하게 한다.
• MDI-oob는 out-of-bag 샘플을 이용해 MDI를 계산하여 편향을 줄이고 시뮬레이션 및 게놈 데이터에서 최첨단 피처 선택 성능을 달성한다.
• MDI-oob는 깊은 트리와 얕은 트리 모두에서 다른 척도에 비해 피처 선택 시 AUC 점수가 5–10% 더 높은 경우가 많다.
• MDI-oob는 노이즈 피처가 있는 시뮬레이션 데이터 세트와 게놈 ChIP 데이터에서 강력한 성능을 보이며 여러 패키지(party, ranger, scikit-learn)를 능가한다.
• 이 연구는 MDI-oob를 정직한 추정 개념과 연결하고 상관 피처에 대한 확장 및 이론적 상한의 tightening 가능성을 강조한다.