[논문 리뷰] Scalable and Efficient Hypothesis Testing with Random Forests

Tim Coleman, Wei Peng외 1명|arXiv (Cornell University)|2019. 04. 16.

Bayesian Methods and Mixture Models참고 문헌 52인용 수 17

한 줄 요약

이 논문은 랜덤 포레스트에서 특성의 중요도를 평가하기 위한 계산적으로 효율적이고 통계적으로 타당한 순열 기반 가설 검정을 제안한다. 교환 가능성과 부분표본 추출을 활용하여 기존 방법보다 계산 비용을 수개의 주기수 줄여 점근적 타당성을 확보한다. 이 방법은 높은 검정력과 함께 대규모 데이터에 자연스럽게 스케일링되며, 제약 조건이 없는 가정이나 과도한 계산 비용 없이 공식적 추론을 가능하게 한다.

ABSTRACT

Throughout the last decade, random forests have established themselves as among the most accurate and popular supervised learning methods. While their black-box nature has made their mathematical analysis difficult, recent work has established important statistical properties like consistency and asymptotic normality by considering subsampling in lieu of bootstrapping. Though such results open the door to traditional inference procedures, all formal methods suggested thus far place severe restrictions on the testing framework and their computational overhead precludes their practical scientific use. Here we propose a permutation-style testing approach to formally assess feature significance. We establish asymptotic validity of the test via exchangeability arguments and show that the test maintains high power with orders of magnitude fewer computations. As importantly, the procedure scales easily to big data settings where large training and testing sets may be employed without the need to construct additional models. Simulations and applications to ecological data where random forests have recently shown promise are provided.

연구 동기 및 목표

• 랜덤 포레스트에서 특성 중요도에 대한 통계적으로 타당하고 계산적으로 효율적인 가설 검정 방법을 개발하기 위해.
• 기존의 파라미터 기반 방법의 한계를 극복하기 위해, 이는 계산 비용이 과도하고 테스트 프레임워크를 제한하기 때문이다.
• 편의적 임의의 OOB 중요도 측정치의 단점을 해결하기 위해, 이는 상관관계 또는 범주형 예측 변수 하에서 오해의 소지가 있다.
• 모델 재학습이나 부수적 매개변수 추정 없이 대규모 데이터 환경에서 공식적 추론을 가능하게 하기 위해.
• 랜덤 포레스트에서 부분표본 추출된 트리의 교환 가능성 논거와 부분표본 추출을 활용하여 검정의 점근적 타당성을 확립하기 위해.

제안 방법

• 이 방법은 예측 변수 값의 무작위 섞음을 통해 평균 제곱오차(MSE)의 변화를 측정함으로써 특성 중요도를 평가하기 위해 순열 검정을 사용한다.
• 부분표본 추출 하에서 랜덤 포레스트 트리의 교환 가능성에 의존하며, 이는 순열 분포의 점근적 타당성을 보장한다.
• 검정 통계량은 원본 데이터와 순열 데이터 간의 MSE 차이를 기반으로 하며, p-값은 경험적 순열 분포를 통해 계산된다.
• 모델 재학습을 피하기 위해 고정된 트리 수(B=250 또는 500 등)와 표본 크기에 맞춘 mtry 파라미터를 사용한다.
• Chung과 Romano(2013)의 교환 배열의 선형 형식에 관한 결과를 활용하여 점근 정규성 및 수렴 논증을 통해 이론적 타당성을 확립한다.
• 이중 단계 프로세스로 구현된다: 첫 번째로 순열을 통한 중요도 점수 계산; 두 번째로 동일한 프레임워크를 사용해 전체 특성 집합에 대한 종합 검정 수행.

실험 결과

연구 질문

• RQ1 랜덤 포레스트에서 특성 중요도에 대한 순열 기반 가설 검정이 통계적으로 타당하고 계산적으로 효율적일 수 있는가?
• RQ2 기존의 파라미터 기반 접근 방식과 비교해 계산 비용을 수개의 주기수 줄였을 때, 제안된 방법이 여전히 높은 통계적 검정력을 유지하는가?
• RQ3 데이터가 i.i.d.가 아니더라도, 부분표본 추출된 트리의 교환 가능성에 기반해 일반적인 귀무가설 하에서 검정이 점근적으로 타당한가?
• RQ4 추가 모델 피팅이나 부수적 매개변수 추정 없이도 대규모 데이터 세트에 대해 이 방법을 스케일링할 수 있는가?
• RQ5 상관관계가 있거나 범주형 예측 변수가 존재할 경우, 이 방법은 편의적 OOB 중요도 측정치보다 신뢰성 있는가?

주요 결과

• 제안된 순열 검정은 교환 가능성 가정 하에서 점근적 타당성을 확보하였으며, 귀무가설 하에서 조건부로 편향되지 않은 p-값을 제공하였다.
• 기존의 파라미터 기반 추론 방법보다 계산 비용을 수개의 주기수 줄여 대규모 데이터 환경에서 실용적으로 사용 가능하였다.
• eBird 데이터에서는 종합 검정에서 p-값 0.0004를 얻었으며, 이는 데이터에 신호가 강하게 존재함을 시사했고, eff.hours와 date가 유의미한 예측 변수로 나타났다.
• 산불 데이터에서는 종합 검정에서 p-값 0.0040을 얻었으며, 이는 검출 가능한 신호가 존재함을 시사했고, 풍속이 유일하게 α=0.05 기준 유의미한 특성였다.
• 특히 상관관계가 있거나 범주형 예측 변수가 존재할 경우, 편의적 OOB 중요도 측정치보다 진짜 신호를 더 잘 탐지하는 데에 성공하였다.
• 모든 특성을 개별적으로 테스트할 경우에도 계산적으로 실행 가능했으며, 각 테스트에 필요한 트리 수가 적어 반복 테스트가 효율적이었다.