[논문 리뷰] MDA for random forests: inconsistency, and a practical solution via the Sobol-MDA

Clément Bénard, Sébastien da Veiga외 1명|arXiv (Cornell University)|2021. 02. 26.

Probabilistic and Robust Engineering Design참고 문헌 49인용 수 6

한 줄 요약

이 논문은 랜덤 포레스트의 변수 중요도 측정법인 평균 정확도 감소(MDA)에 기초적인 모순이 있음을 밝혀내며, 공변량 간 의존성이 존재할 경우 이 측정법이 편향된 추정치로 수렴함을 보여준다. 이를 해결하기 위해 저자는 Sobol-MDA를 제안한다. 이는 계산적으로 효율적이고 일致성 있는 대체 측정법으로, Sobol 민감도 지수와 일치시켜 변수 중요도를 정확히 추정하며, 시뮬레이션 및 실제 데이터에서 기존 방법보다 변수 선택 성능이 뛰어나다.

ABSTRACT

Variable importance measures are the main tools to analyze the black-box mechanisms of random forests. Although the mean decrease accuracy (MDA) is widely accepted as the most efficient variable importance measure for random forests, little is known about its statistical properties. In fact, the definition of MDA varies across the main random forest software. In this article, our objective is to rigorously analyze the behavior of the main MDA implementations. Consequently, we mathematically formalize the various implemented MDA algorithms, and then establish their limits when the sample size increases. This asymptotic analysis reveals that these MDA versions differ as importance measures, since they converge towards different quantities. More importantly, we break down these limits into three components: the first two terms are related to Sobol indices, which are well-defined measures of a covariate contribution to the response variance, widely used in the sensitivity analysis field, as opposed to the third term, whose value increases with dependence within covariates. Thus, we theoretically demonstrate that the MDA does not target the right quantity to detect influential covariates in a dependent setting, a fact that has already been noticed experimentally. To address this issue, we define a new importance measure for random forests, the Sobol-MDA, which fixes the flaws of the original MDA, and consistently estimates the accuracy decrease of the forest retrained without a given covariate, but with an efficient computational cost. The Sobol-MDA empirically outperforms its competitors on both simulated and real data for variable selection. An open source implementation in R and C++ is available online.

연구 동기 및 목표

• 기존 MDA 구현 방식의 渐近적 행동을 철저히 분석한다.
• 공변량 간 의존성이 존재할 경우 MDA가 왜 일관되지 않은 변수 중요도 순위를 산출하는지 규명한다.
• 이론적으로 타당하고 계산적으로 효율적인 MDA의 대체 측정법을 개발하여, 의존성 하에서도 진정된 변수 중요도를 정확히 추정한다.
• 새로운 측정법이 변수 선택 과제에서 우월함을 실증적으로 검증한다.

제안 방법

• MDA의 여러 구현 방식을 수학적으로 형식화하고 그 渐近적 한계를 유도한다.
• 한계에 도달한 MDA 값들을 세 구성요소로 분해한다: 두 구성요소는 Sobol 지수와 관련이 있고, 하나는 공변량 의존성에 의해 유도된다.
• Sobol-MDA를 새로운 중요도 측정법으로 제안하여, Sobol 지수 기반 성분을 분리함으로써 일관성을 확보한다.
• Sobol 지수의 몬테카를로 추정을 활용해, 숲을 재학습하지 않고도 효율적으로 변수 중요도를 계산한다.
• Sobol-MDA가 일관되며, 변수를 숲에서 제외했을 때 진정한 정확도 감소량으로 수렴함을 증명한다.
• R 및 C++로 구현하여 ranger 랜덤 포레스트 프레임워크를 활용해 실용적 사용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 공변량 간 의존성이 존재할 경우, MDA의 다양한 구현 방식은 어떻게 渐近적으로 행동하는가?
• RQ2 왜 공변량 간 의존성이 존재할 경우 MDA는 영향력 있는 변수를 제대로 순위 매기지 못하는가?
• RQ3 의존성 하에서도 진정된 변수의 영향력을 일관되게 추정할 수 있는 새로운 변수 중요도 측정법을 구성할 수 있는가?
• RQ4 제안된 Sobol-MDA는 실제 및 시뮬레이션 데이터에서 기존 MDA 변종보다 변수 선택 성능이 뛰어나다고 할 수 있는가?
• RQ5 Sobol-MDA의 계산 비용은 표준 MDA와 유사한가, 동시에 이론적 일관성은 유지되는가?

주요 결과

• 표준 MDA는 Sobol 지수와 의존성에 의해 발생하는 편향 항을 합친 값을 한계로 수렴하며, 이는 공변량 의존성 하에서 일관성이 없음을 의미한다.
• 공변량 간 상관계수가 √2/2 ≈ 0.707를 초과할 경우, 의존성에 기인한 항이 지배적이 되어 잘못된 변수 순위가 산출된다.
• Sobol-MDA는 일관되며, 변수를 숲에서 제외했을 때 진정한 정확도 감소량으로 수렴함을 증명하였다.
• 시뮬레이션 데이터에서는 고상관관계 하에서도 Sobol-MDA가 관련 변수를 정확히 식별하는 반면, 표준 MDA는 실패한다.
• 실제 데이터셋에서는 Sobol-MDA가 MDA 및 기타 경쟁 방법보다 변수 선택 정확도에서 뛰어나다.
• R 및 C++로 구현된 Sobol-MDA의 오픈소스 구현체는 최소한의 계산 오버헤드로 효율적인 구현이 가능하다.