[論文レビュー] Posterior Concentration for Bayesian Regression Trees and their Ensembles

Veronika Ročková, Stéphanie van der Pas|arXiv (Cornell University)|Aug 29, 2017

Bayesian Modeling and Causal Inference被引用数 19

ひとこと要約

本稿では、滑らかな回帰関数の周囲に事後分布が集中するのを可能にするスパイク・アンド・ツリー事前分布を導入することで、ベイジアン回帰木およびそのアンサンブルの理論的保証を確立した。これらの手法は、対数要因を除いて最適な収束速度を達成し、未知の滑らかさに適応し、p > n の場合に次元削減を実現する。これにより、それらの手法の経験的成功の理論的基盤が提供される。

ABSTRACT

Since their inception in the 1980's, regression trees have been one of the more widely used non-parametric prediction methods. Tree-structured methods yield a histogram reconstruction of the regression surface, where the bins correspond to terminal nodes of recursive partitioning. Trees are powerful, yet susceptible to over-fitting. Strategies against overfitting have traditionally relied on pruning greedily grown trees. The Bayesian framework offers an alternative remedy against overfitting through priors. Roughly speaking, a good prior charges smaller trees where overfitting does not occur. While the consistency of random histograms, trees and their ensembles has been studied quite extensively, the theoretical understanding of the Bayesian counterparts has been missing. In this paper, we take a step towards understanding why/when do Bayesian trees and their ensembles not overfit. To address this question, we study the speed at which the posterior concentrates around the true smooth regression function. We propose a spike-and-tree variant of the popular Bayesian CART prior and establish new theoretical results showing that regression trees (and their ensembles) (a) are capable of recovering smooth regression surfaces, achieving optimal rates up to a log factor, (b) can adapt to the unknown level of smoothness and (c) can perform effective dimension reduction when p>n. These results provide a piece of missing theoretical evidence explaining why Bayesian trees (and additive variants thereof) have worked so well in practice.

研究の動機と目的

• ベイジアン回帰木が実際の応用で過学習を回避する理由について、理論的理解が不足しているという問題に取り組むこと。
• 事後分布が真の滑らかな回帰関数の周囲にどの程度速く集中するかを測るレートを研究すること。
• ベイジアンノンパラメトリック回帰で最適な頻度的収束速度を達成できるようにするためのスパイク・アンド・ツリー事前分布の開発。
• 高次元設定（p > n）における未知の滑らかさへの適応性と効果的な次元削減の程度を明らかにすること。
• ベイジアンツリーおよびそのアンサンブルの優れた経験的性能の理論的裏付けを提供すること。

提案手法

• ベイジアン CART 事前分布のスパイク・アンド・ツリー版を提案し、帰無モデルにおけるスパイクと、分割に依存するツリー型事前分布を組み合わせる。
• より小さなツリーを促進する階層的事前分布構造を用い、縮小によって過学習を低減する。
• 真の回帰関数の周囲のカルバック・ライブラー近傍における事後確率の上界を用いて、事後集中を分析する。
• 非漸近的集中不等式とメトリックエントロピーの議論を用いて収束速度を確立する。
• 個々のツリーおよびそのアンサンブルへの応用を適用し、より優れた適応性とロバストネスを示す。
• 未知の滑らかさの下でも、事後分布が対数要因を除いて最適なレートで収束することを示した。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン回帰木は、滑らかな回帰関数に対して最適な事後集中速度を達成できるか？
• RQ2 スパイク・アンド・ツリー事前分布は、回帰関数の未知の滑らかさにどのように適応するか？
• RQ3 予測変数の数が標本サイズを上回る場合（p > n）に、ベイジアンツリーはどの程度効果的な次元削減を実現できるか？
• RQ4 ベイジアンツリーのアンサンブルの事後集中に対して、どのような理論的保証を提供できるか？
• RQ5 非パラメトリックな柔軟性を持つにもかかわらず、なぜベイジアンツリーおよびそのアンサンブルは実際の応用で一般化性能が優れているのか？

主な発見

• ベイジアン回帰木は、非パラメトリック回帰における既知のミニマックスレートに一致する、対数要因を除いて最適な事後集中速度を達成する。
• スパイク・アンド・ツリー事前分布により、真の回帰関数の未知の滑らかさクラスを事前に知らなくても、事後分布がその滑らかさに適応できる。
• ツリーによる分割を通じて関連のある共変量に焦点を当てるため、p > n の場合でも良好な性能を発揮する、効果的な次元削減を実現する。
• 理論的結果は、ベイジアンツリーのアンサンブルにも拡張され、単一のツリーと比較してより優れた適応性とロバストネスを示す。
• ややきつい正則性条件の下でも事後集中が確立され、ベイジアンツリーの経験的成功の理論的説明が得られる。
• 本分析により、非パラメトリック回帰におけるベイジアンツリーの使用に対する、文献における重要なギャップを埋める最初の理論的裏付けが提供された。