[논문 리뷰] Solving Heterogeneous Estimating Equations with Gradient Forests

Susan Athey, Julie Tibshirani외 1명|arXiv (Cornell University)|2016. 01. 01.

Machine Learning and Algorithms인용 수 7

한 줄 요약

이 논문은 비모수 분위수 회귀 및 이질적 치료 효과 추정과 같은 통계 작업에서 이질적인 추정 방정식에 맞춘 의사결정 트리 성장에 적합한 통합 프레임워크인 그래디언트 포레스트를 소개한다. 관측치를 그래디언트 기반 가짜 결과로 레이블링하고 표준 CART 분할을 적용함으로써, 기준 포레스트보다 정확도를 향상시키며 이론적 일致성과 점근 정규성을 확립한다.

ABSTRACT

Forest-based methods are being used in an increasing variety of statistical tasks, including causal inference, survival analysis, and quantile regression. Extending forest-based methods to these new statistical settings requires specifying tree-growing algorithms that are targeted to the task at hand, and the ad-hoc design of such algorithms can require considerable effort. In this paper, we develop a unified framework for the design of fast tree-growing procedures for tasks that can be characterized by heterogeneous estimating equations. The resulting gradient forest consists of trees grown by recursively applying a pre-processing step where we label each observation with gradient-based pseudo-outcomes, followed by a regression step that runs a standard CART regression split on these pseudo-outcomes. We apply our framework to two important statistical problems, non-parametric quantile regression and heterogeneous treatment effect estimation via instrumental variables, and we show that the resulting procedures considerably outperform baseline forests whose splitting rules do not take into account the statistical question at hand. Finally, we prove the consistency of gradient forests, and establish a central limit theorem. Our method will be available as an R-package, gradientForest, which draws from the ranger package for random forests.

연구 동기 및 목표

• 표준 회귀를 초월한 복잡한 통계 문제를 위한 효율적이고 작업에 특화된 트리 성장 알고리즘 설계의 과제를 해결하기 위해.
• 분위수 회귀 및 도구 변수 추정과 같은 다양한 통계 작업을 랜덤 포레스트 기반 방법의 단일 프레임워크로 통합하기 위해.
• 분할 과정에 그래디언트 기반 가짜 결과를 통합함으로써 랜덤 포레스트 방법의 성능을 향상시키기 위해.
• 제안된 그래디언트 포레스트 방법론에 대한 이론적 기초, 특히 일치성과 점근 정규성을 확립하기 위해.

제안 방법

• 이 방법은 각 노드를 사전 처리하여 대상 통계 문제의 추정 방정식에서 유도된 그래디언트 기반 가짜 결과를 계산한다.
• 관측치는 이러한 가짜 결과로 레이블링되며, 이는 국소 추정 방정식 그래디언트를 코딩한다.
• 이 가짜 결과에 표준 CART 회귀 분할을 적용하여 트리를 성장시키며, 이는 분할이 통계 목표와 일치하도록 한다.
• 이 프레임워크는 일반적이며 이질적인 추정 방정식으로 기술된 어떤 문제에도 적용 가능하다.
• 이 접근법은 기존의 랜덤 포레스트 인프라를 활용하며, 구현은 ranger R 패키지 기반으로 이루어진다.

실험 결과

연구 질문

• RQ1 추정 방정식으로 정의된 다양한 통계 작업에 적응하는 통합된 트리 성장 프레임워크를 개발할 수 있는가?
• RQ2 분할 규칙에 그래디언트 기반 가짜 결과를 통합하면 비모수 분위수 회귀에서 성능이 어떻게 향상되는가?
• RQ3 도구 변수를 사용한 이질적 치료 효과 추정에서 그래디언트 포레스트 방법은 기준 포레스트보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 그래디언트 포레스트에 대해 일치성과 점근 정규성과 같은 이론적 성질을 어떻게 확립할 수 있는가?

주요 결과

• 그래디언트 포레스트 방법은 비모수 분위수 회귀와 도구 변수를 사용한 이질적 치료 효과 추정 모두에서 기준 포레스트를 뛰어넘는다.
• 그래디언트 기반 가짜 결과의 사용은 표준 회귀 기반 분할보다 더 정확하고 통계적으로 목표에 맞는 트리 분할을 이끈다.
• 이 방법은 일치성을 달성하여 표본 크기가 증가함에 따라 추정 함수가 진짜 기저 함수로 수렴함을 의미한다.
• 중앙극한정리가 확립되어 프레임워크 내 추정 매개변수에 대한 점근적 추론을 지원한다.