[論文レビュー] Bayesian Dyadic Trees and Histograms for Regression

Stéphanie van der Pas, Veronika Ročková|arXiv (Cornell University)|Jul 31, 2017

Gaussian Processes and Bayesian Inference被引用数 14

ひとこと要約

本稿は、単変量回帰設定におけるベイジアン回帰ヒストグラムおよびdyadic木の、初めての事後濃縮率に関する結果を確立する。複雑さペナルティを伴う事前分布を用いることで、ジャンプの数や位置が未知であっても、真の区分的定数回帰関数の周囲で事後分布がほぼ最小最大レートに近い速度で収束することを示し、ベイジアン木の経験的成果の完全な適応性と理論的裏付けを示している。

ABSTRACT

Many machine learning tools for regression are based on recursive partitioning of the covariate space into smaller regions, where the regression function can be estimated locally. Among these, regression trees and their ensembles have demonstrated impressive empirical performance. In this work, we shed light on the machinery behind Bayesian variants of these methods. In particular, we study Bayesian regression histograms, such as Bayesian dyadic trees, in the simple regression case with just one predictor. We focus on the reconstruction of regression surfaces that are piecewise constant, where the number of jumps is unknown. We show that with suitably designed priors, posterior distributions concentrate around the true step regression function at a near-minimax rate. These results do not require the knowledge of the true number of steps, nor the width of the true partitioning cells. Thus, Bayesian dyadic regression trees are fully adaptive and can recover the true piecewise regression function nearly as well as if we knew the exact number and location of jumps. Our results constitute the first step towards understanding why Bayesian trees and their ensembles have worked so well in practice. As an aside, we discuss prior distributions on balanced interval partitions and how they relate to an old problem in geometric probability. Namely, we relate the probability of covering the circumference of a circle with random arcs whose endpoints are confined to a grid, a new variant of the original problem.

研究の動機と目的

• ベイジアン回帰木およびアンサンブルの強力な経験的性能に対する、初めての理論的裏付けを提供すること。
• 未知の段階関数構造下でのベイジアン回帰ヒストグラムおよびdyadic木の事後濃縮率を検討すること。
• 真の区分的定数回帰関数の周囲に事後分布がほぼ最適に収束するための条件を確立すること。
• 未知のジャンプ数および位置に自動的に適応できる複雑さペナルティ付き事前分布を構築すること。
• バランス型分割への事前分布と、円周上のランダムな弧による被覆問題との関連を明らかにすること。

提案手法

• ジャンプ数に対する複雑さペナルティを伴う段階関数への階層的事前分布を提案する。
• 段階数の事前分布を指数関数的に減少させることで、自動的なモデル選択を保証する。
• 観測済みデータ点における分割を伴うバランス型区間分割の上に一様事前分布を適用し、一般化された木構造を可能にする。
• 真のデータ生成モデル下で頻度主義的事後濃縮理論を用いて、事後濃縮レートを導出する。
• 事後濃縮レートがほぼ最適となるように、事前分布および真の関数に必要な条件を確立する。
• バランス型分割における区間長の分布を、円周上にランダムな弧を配置する問題の新規変種と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 真のジャンプ数が分かっていない状態でも、ベイジアンdyadic木が区分的定数回帰関数に対してほぼ最小最大レートで事後濃縮を達成できるか？
• RQ2 段階数に対する複雑さペナルティ付き事前分布は、未知のジャンプ位置および数にどのように自動適応を可能にするか？
• RQ3 観測データ点における分割を伴うバランス型分割上の一様事前分布は、事後濃縮性能にどのような影響を与えるか？
• RQ4 事後濃縮レートは、真の回帰関数の滑らかさおよび変動性にどのように依存するか？
• RQ5 バランス型分割への事前分布と、円周をランダムな弧で被覆する幾何確率問題との間にはどのような関係があるか？

主な発見

• 事後濃縮は $ n^{-1/2} \sqrt{K_{f_0} \log(n/K_{f_0})} $ のオーダーで発生し、これはほぼ最小最大最適である。
• 真のジャンプ数 $ K_{f_0} $ が未知であっても、このレートで事後分布が収束することを示し、完全な適応性を裏付けた。
• 調整を必要としない複雑さ事前分布のもとで結果が成り立つ。$ c_K = 1 $ は推奨されるデフォルト値である。
• ジャンプサイズが有界な関数に対しては、$ K_{f_0} \lesssim \sqrt{n} $ であればレートは最適のまま維持される。
• $ K_{f_0} \gtrsim \sqrt{n} $ の場合、レートは $ n^{-1/2} \sqrt{K_{f_0} \log n} $ に低下するが、依然としてほぼ最適である。
• バランス型分割への事前分布は、幾何確率問題と新しい関連を生じさせた：区間長の分布は、グリッド上の円周をランダムな弧で被覆する確率に対応する。