[論文レビュー] On Theory for BART

Veronika Ročková, Enakshi Saha|arXiv (Cornell University)|Oct 1, 2018

Bayesian Methods and Mixture Models参考文献 35被引用数 4

ひとこと要約

この論文は、不均一なガルトン＝ワトソン枝分かれ過程を用いて正確な事前分布を分析することで、ベイジアン加法的回帰木（BART）手法の理論的最適性を確立する。修正された事前分布を導入し、正則性条件のもとで最小最大の事後濃縮率を達成することを証明する。

ABSTRACT

Ensemble learning is a statistical paradigm built on the premise that many weak learners can perform exceptionally well when deployed collectively. The BART method of Chipman et al. (2010) is a prominent example of Bayesian ensemble learning, where each learner is a tree. Due to its impressive performance, BART has received a lot of attention from practitioners. Despite its wide popularity, however, theoretical studies of BART have begun emerging only very recently. Laying the foundations for the theoretical analysis of Bayesian forests, Rockova and van der Pas (2017) showed optimal posterior concentration under conditionally uniform tree priors. These priors deviate from the actual priors implemented in BART. Here, we study the exact BART prior and propose a simple modification so that it also enjoys optimality properties. To this end, we dive into branching process theory. We obtain tail bounds for the distribution of total progeny under heterogeneous Galton-Watson (GW) processes exploiting their connection to random walks. We conclude with a result stating the optimal rate of posterior convergence for BART.

研究の動機と目的

• 正確なBART事前分布の理論的基盤の欠如に応えること。これは、先行研究における最適な事後濃縮率の結果で用いられた事前分布とは異なる。
• 実装におけるBARTと理論的保証との間のギャップを埋めるために、BARTで実際に使用されている事前分布を分析すること。
• BARTの実用的利点を保ちつつ、最適な事後濃縮率を達成するように修正された事前分布を開発すること。
• 枝分かれ過程理論の道具を用いて、BARTの最適な事後収束速度を確立すること。

提案手法

• 論文は、木のサイズと子孫の分布を分析するために、BART事前分布を不均一なガルトン＝ワトソン枝分かれ過程としてモデル化する。
• 確率ウォーク理論との関連を用いて、不均一なガルトン＝ワトソン過程の全子孫の尾確率を導出する。
• 母関数とモーメント母関数を用いて、BART事前分布下での木の成長の確率的挙動を特徴付ける。
• 事後濃縮率が最小最大の最適レートに一致するように、修正された事前分布を提案する。
• 木の構造と枝分かれ過程の性質（特に絶滅確率と集団サイズ分布）を結びつけることで理論的結果を導出する。
• 木のサイズに関する確率的バウンドと回帰関数の正則性条件を組み合わせることで、事後濃縮率を確立する。

実験結果

リサーチクエスチョン

• RQ1 標準的な滑らかさ仮定のもとで、正確なBART事前分布が最適な事後濃縮率を達成できるか？
• RQ2 実際のBART事前分布下での木のサイズ分布は、先行理論的研究で用いられた条件付き一様事前分布とどのように異なるか？
• RQ3 BART事前分布にどのような修正を加えることで、最適な事後濃縮率を達成しつつもその実用的特性を保てるか？
• RQ4 不均一なガルトン＝ワトソン過程は、BART木の複雑さをどのように特徴付けるか？
• RQ5 実際の事前分布のもとで、BARTの最適な事後収束速度は何か？そして、それを達成できるか？

主な発見

• この論文は、木のサイズにおける特定の分布的性質により、元のBART事前分布が最適な事後濃縮率を達成しないことを確立する。
• Hölder滑らかさを持つ回帰関数のもとで、最小最大レートの最適な事後濃縮率を保証する修正BART事前分布を提案する。
• 不均一なガルトン＝ワトソン過程の全子孫の尾確率を導出し、木の複雑さを正確に制御可能となる。
• BARTの最適な事後濃縮率が最小最大レートに達することを示し、未知の滑らかさに適応可能であることを確認する。
• 事前分布を適切に修正すれば、BARTの理論的性能を厳密に正当化できることを分析が裏付けている。