[論文レビュー] Universal Consistency of Decision Trees in High Dimensions

Jason M. Klusowski|arXiv (Cornell University)|Apr 28, 2021

Statistical Methods and Inference参考文献 27被引用数 4

ひとこと要約

本稿は、予測子の数が標本サイズとともに指数関数的に増加する高次元加法的モデルにおいて、$1$-ノルムスパースネス制約の下で、CART意思決定木およびランダムフォレストの普遍的一貫性を確立している。驚くべきことに、一貫性は1本の木でも達成され、mtryパラメータが消える場合でさえ成立しており、アンサンブル平均化を必要とせずにスパースネスに適応する強力な適応性を示している。

ABSTRACT

This paper shows that decision trees constructed with Classification and Regression Trees (CART) methodology are universally consistent in an additive model context, even when the number of predictor variables scales exponentially with the sample size, under certain $1$-norm sparsity constraints. The consistency is universal in the sense that there are no a priori assumptions on the distribution of the predictor variables. Amazingly, this adaptivity to (approximate or exact) sparsity is achieved with a single tree, as opposed to what might be expected for an ensemble. Finally, we show that these qualitative properties of individual trees are inherited by Breiman's random forests. Another surprise is that consistency holds even when the mtry tuning parameter vanishes as a fraction of the number of predictor variables, thus speeding up computation of the forest. A key step in the analysis is the establishment of an oracle inequality, which precisely characterizes the goodness-of-fit and complexity tradeoff for a misspecified model.

研究の動機と目的

• 予測子分布に関する最小限の仮定の下で意思決定木の普遍的一貫性を確立すること。
• 標本サイズとともに予測子の数が指数関数的に増加する高次元設定におけるCART木の性能を分析すること。
• アンサンブル手法を必要とせずに、個々の木がスパースネスに適応できるかどうかを調査すること。
• Breimanのランダムフォレストに対しても一貫性結果を拡張し、mtryが消える設定を含むこと。
• モデルの適合度と複雑さのトレードオフを特徴付けるオラクル不等式を導出すること。

提案手法

• 分析は、誤った適合モデルにおける適合度とモデル複雑度のトレードオフを定量化するオラクル不等式に依拠している。
• 真の回帰関数に$1$-ノルムスパースネス制約を課してモデルの複雑さを制御している。
• 予測子の分布に最小限の仮定を置くことで、普遍的な適用可能性を保証している。
• 意思決定木の構造的性質を活用して、スパースまたは近似的にスパースな加法的モデルに適応している。
• アンサンブル内の個々の木の挙動を分析することで、ランダムフォレストへのフレームワークの拡張を行っている。
• mtryパラメータは予測子数に対する割合として消えることを許容しており、計算を高速化しながらも一貫性を維持している。

実験結果

リサーチクエスチョン

• RQ1 予測子の数が標本サイズとともに指数関数的に増加する高次元加法的モデルにおいて、CART意思決定木は普遍的一貫性を達成できるか？
• RQ2 予測子の分布に弱い仮定しか置かない状況でも、1本の意思決定木はアンサンブル平均化を必要とせずにスパースネスに適応できるか？
• RQ3 mtryパラメータが予測子数に対して消える場合でも、ランダムフォレストにおいて普遍的一貫性は保たれるか？
• RQ4 誤った適合モデルにおける、モデルの適合度と複雑さのトレードオフはどのように現れるか？
• RQ5 オラクル不等式は、モデルの誤り指定下での意思決定木の性能をどのように特徴づけるか？

主な発見

• CART意思決定木は、予測子の数が標本サイズとともに指数関数的に増加する高次元加法的モデルにおいても普遍的一貫性を示す。
• 予測変数の分布に関する事前仮定を一切置かずに一貫性が成立し、普遍性が確立されている。
• スパースネスへの適応は1本の木で達成され、アンサンブルが必要であるという予想に反して成立している。
• ランダムフォレストは、mtryパラメータが予測子数に対する割合として消える場合でも、個々の木の一致性特性を継承している。
• 誤った適合モデルにおけるモデル適合度と複雑さのトレードオフを正確に特徴付けるオラクル不等式が導出された。
• 計算効率（mtryの消えること）が統計的一致性を損なわないことが示された。