[論文レビュー] Solving Heterogeneous Estimating Equations with Gradient Forests

Susan Athey, Julie Tibshirani+1 more|arXiv (Cornell University)|Jan 1, 2016

Machine Learning and Algorithms被引用数 7

ひとこと要約

この論文は、非パラメトリックな分位数回帰や異質的処置効果推定といった統計的タスクにおける異種の推定方程式に特化した決定木の成長を統合的に扱うフレームワーク、勾配フォレストを紹介する。観測値に勾配に基づく擬似アウトカムでラベル付けし、標準的なCART分割を適用することで、ベースラインフォレストよりも精度が向上し、理論的整合性と漸近正規性を確立する。

ABSTRACT

Forest-based methods are being used in an increasing variety of statistical tasks, including causal inference, survival analysis, and quantile regression. Extending forest-based methods to these new statistical settings requires specifying tree-growing algorithms that are targeted to the task at hand, and the ad-hoc design of such algorithms can require considerable effort. In this paper, we develop a unified framework for the design of fast tree-growing procedures for tasks that can be characterized by heterogeneous estimating equations. The resulting gradient forest consists of trees grown by recursively applying a pre-processing step where we label each observation with gradient-based pseudo-outcomes, followed by a regression step that runs a standard CART regression split on these pseudo-outcomes. We apply our framework to two important statistical problems, non-parametric quantile regression and heterogeneous treatment effect estimation via instrumental variables, and we show that the resulting procedures considerably outperform baseline forests whose splitting rules do not take into account the statistical question at hand. Finally, we prove the consistency of gradient forests, and establish a central limit theorem. Our method will be available as an R-package, gradientForest, which draws from the ranger package for random forests.

研究の動機と目的

• 標準回帰を超えた複雑な統計的問題における、効率的でタスク特化型の木の成長アルゴリズムを設計する課題に対処すること。
• 分位数回帰やインストゥルメンタル変数推定といった多様な統計的タスクを、フォレストベースの手法のための統一フレームワークに統合すること。
• 分割プロセスに勾配に基づく擬似アウトカムを組み込むことで、ランダムフォレスト手法の性能を向上させること。
• 提案された勾配フォレスト手法の理論的基盤を確立すること、特に整合性と漸近正規性を含む。

提案手法

• この手法は、各ノードを事前に処理し、ターゲットの統計的問題の推定方程式から導かれる勾配に基づく擬似アウトカムを計算する。
• 観測値は、これらの擬似アウトカムでラベル付けされ、局所的な推定方程式の勾配が符号化される。
• これらの擬似アウトカムに対して標準的なCART回帰分割を適用して木を成長させ、分割が統計的目的と整合するようにする。
• このフレームワークは一般性を有し、異種の推定方程式で定式化された任意の問題に適用可能である。
• 既存のランダムフォレストインfraストラクチャを活用しており、実装はranger Rパッケージに基づいている。

実験結果

リサーチクエスチョン

• RQ1 推定方程式によって定義される多様な統計的タスクに適応可能な、統一された木の成長フレームワークを開発できるか？
• RQ2 分割ルールに勾配に基づく擬似アウトカムを組み込むことで、非パラメトリックな分位数回帰における性能がどのように向上するか？
• RQ3 インストゥルメンタル変数を用いた異質的処置効果推定において、勾配フォレスト手法はベースラインフォレストをどの程度上回るか？
• RQ4 提案された勾配フォレストに対して、整合性や漸近正規性などの理論的性質をどの程度確立できるか？

主な発見

• 勾配フォレスト手法は、非パラメトリックな分位数回帰およびインストゥルメンタル変数を用いた異質的処置効果推定の両方において、ベースラインフォレストを顕著に上回る。
• 勾配に基づく擬似アウトカムの使用により、標準的な回帰ベースの分割と比較して、より正確で統計的に的確な木の分割が得られる。
• 整合性が達成されており、標本サイズが増加するにつれて推定関数が真の潜在関数に収束する。
• 中心極限定理が確立されており、フレームワーク内の推定パラメータに対する漸近的推論を支援する。