[논문 리뷰] Universal Consistency of Decision Trees in High Dimensions

Jason M. Klusowski|arXiv (Cornell University)|2021. 04. 28.

Statistical Methods and Inference참고 문헌 27인용 수 4

한 줄 요약

이 논문은 예측 변수 수가 표본 크기와 함께 지수적으로 증가하는 고차원 추가 모델에서, $1$-노름 희소성 제약 조건 하에 CART 의사결정 트리와 랜덤 포레스트의 보편 일致성을 확립한다. 놀랍게도, 일관성은 단일 트리로도 달성되며, mtry 파라미터가 0에 수렴함에도 불구하고 유지되며, 앙상블 평균화 없이도 희소성에 강력하게 적응함을 보여준다.

ABSTRACT

This paper shows that decision trees constructed with Classification and Regression Trees (CART) methodology are universally consistent in an additive model context, even when the number of predictor variables scales exponentially with the sample size, under certain $1$-norm sparsity constraints. The consistency is universal in the sense that there are no a priori assumptions on the distribution of the predictor variables. Amazingly, this adaptivity to (approximate or exact) sparsity is achieved with a single tree, as opposed to what might be expected for an ensemble. Finally, we show that these qualitative properties of individual trees are inherited by Breiman's random forests. Another surprise is that consistency holds even when the mtry tuning parameter vanishes as a fraction of the number of predictor variables, thus speeding up computation of the forest. A key step in the analysis is the establishment of an oracle inequality, which precisely characterizes the goodness-of-fit and complexity tradeoff for a misspecified model.

연구 동기 및 목표

• 예측 변수 분포에 대한 최소한의 가정 하에 의사결정 트리의 보편 일치성을 확립하기 위해.
• 표본 크기와 함께 예측 변수 수가 지수적으로 증가하는 고차원 환경에서 CART 트리의 성능을 분석하기 위해.
• 앙상블 방법 없이도 개별 트리가 희소성에 적응할 수 있는지 조사하기 위해.
• Breiman의 랜덤 포레스트로 일관성 결과를 확장하여, mtry가 감소하는 경우에도 적용 가능하도록 하기 위해.
• 모형 오차가 있는 모델에서 모형 적합도와 복잡도 간의 트레이드오프를 기술하는 오라클 부등식을 유도하기 위해.

제안 방법

• 분석은 오차가 있는 추가 모델에서 적합도와 모형 복잡도 간의 트레이드오프를 정량화하는 오라클 부등식에 기반한다.
• 모형 복잡도를 제어하기 위해 진정한 회귀 함수에 $1$-노름 희소성 제약 조건을 도입한다.
• 예측 변수에 대한 최소한의 분포 가정 하에 일관성을 확립하여 보편적 적용 가능성을 보장한다.
• 의사결정 트리의 구조적 성질을 활용하여 희소 또는 약간의 희소성 존재하는 추가 모델에 적응한다.
• 앙성 내의 개별 트리의 행동을 분석하여 프레임워크를 랜덤 포레스트로 확장한다.
• mtry 파라미터를 예측 변수 수에 대한 비율로 점점 줄일 수 있도록 허용하여 계산 속도를 높이되, 일관성은 유지한다.

실험 결과

연구 질문

• RQ1 예측 변수 수가 표본 크기와 함께 지수적으로 증가하는 고차원 추가 모델에서, CART 의사결정 트리가 보편 일치성을 달성할 수 있는가?
• RQ2 예측 변수에 대한 약한 분포 가정 하에, 앙상블 평균화 없이도 단일 의사결정 트리가 희소성에 적응할 수 있는가?
• RQ3 예측 변수 수에 비해 mtry 파라미터가 감소할 경우, 랜덤 포레스트에서도 보편 일치성이 유지되는가?
• RQ4 오차가 있는 추가 모델에서 모형 적합도와 복잡도 간의 트레이드오프는 어떻게 나타나는가?
• RQ5 오라클 부등식은 모형 오차가 있는 상황에서 의사결정 트리의 성능을 어떻게 기술하는가?

주요 결과

• CART 의사결정 트리는 예측 변수 수가 표본 크기와 함께 지수적으로 증가하는 고차원 추가 모델에서도 보편 일치성을 보인다.
• 예측 변수의 분포에 대한 사전 가정 없이도 일관성이 유지되어 보편성의 성격을 입증한다.
• 희소성에 대한 적응은 앙상블가 아닌 단일 트리로도 달성되며, 이는 앙상블가 필요하다는 기대와 반대된다.
• 랜덤 포레스트는 개별 트리의 일관성 성질을 그대로 이어받으며, mtry 파라미터가 예측 변수 수에 비해 감소하더라도 일관성이 유지된다.
• 오차가 있는 모델에서 모형 적합도와 복잡도 간의 트레이드오프를 정확히 기술하는 오라클 부등식이 도출되었다.
• 계산 효율성(예: mtry가 점점 줄어듦)이 통계적 일관성에 영향을 주지 않음을 입증하였다.