[论文解读] Bayesian Dyadic Trees and Histograms for Regression

Stéphanie van der Pas, Veronika Ročková|arXiv (Cornell University)|Jul 31, 2017

Gaussian Processes and Bayesian Inference被引用 14

一句话总结

本文首次建立了在单变量回归设置下，贝叶斯回归直方图与二叉树的后验集中率结果。结果表明，即使跳跃点的数量和位置未知，通过使用复杂度惩罚先验，后验仍能以接近极小极大最优的速率收缩至真实的分段常数回归函数，展示了完全自适应性，并为贝叶斯树方法在经验上的成功提供了理论依据。

ABSTRACT

Many machine learning tools for regression are based on recursive partitioning of the covariate space into smaller regions, where the regression function can be estimated locally. Among these, regression trees and their ensembles have demonstrated impressive empirical performance. In this work, we shed light on the machinery behind Bayesian variants of these methods. In particular, we study Bayesian regression histograms, such as Bayesian dyadic trees, in the simple regression case with just one predictor. We focus on the reconstruction of regression surfaces that are piecewise constant, where the number of jumps is unknown. We show that with suitably designed priors, posterior distributions concentrate around the true step regression function at a near-minimax rate. These results do not require the knowledge of the true number of steps, nor the width of the true partitioning cells. Thus, Bayesian dyadic regression trees are fully adaptive and can recover the true piecewise regression function nearly as well as if we knew the exact number and location of jumps. Our results constitute the first step towards understanding why Bayesian trees and their ensembles have worked so well in practice. As an aside, we discuss prior distributions on balanced interval partitions and how they relate to an old problem in geometric probability. Namely, we relate the probability of covering the circumference of a circle with random arcs whose endpoints are confined to a grid, a new variant of the original problem.

研究动机与目标

• 为贝叶斯回归树及其集成方法在经验上表现出的优异性能提供首个理论解释。
• 研究在未知阶梯函数结构下，贝叶斯回归直方图与二叉树的后验集中率。
• 建立后验在真实分段常数回归函数附近近乎最优收缩的条件。
• 提出一种复杂度惩罚先验，实现对未知跳跃数量与位置的自动适应。
• 将对平衡划分的先验与一个涉及圆周上随机弧的几何概率问题联系起来。

提出的方法

• 提出一种对阶梯函数的层次先验，对跳跃数量施加复杂度惩罚。
• 对阶梯数使用呈指数衰减的先验，以确保自动模型选择。
• 在平衡区间划分（分割点位于观测数据点）上使用均匀先验，以支持一般树结构。
• 在真实数据生成模型下，利用频率学派后验收缩理论推导后验集中率。
• 建立先验与真实函数的条件，以确保后验收缩率接近最优。
• 将平衡划分中区间长度的分布与圆周上随机弧覆盖问题的一个新变体联系起来。

实验结果

研究问题

• RQ1 在未知真实跳跃数量的情况下，贝叶斯二叉树能否实现接近极小极大最优的后验集中率，用于分段常数回归函数？
• RQ2 对阶梯数施加的复杂度惩罚先验，如何实现对未知跳跃位置与数量的自动适应？
• RQ3 在平衡划分上使用均匀先验（分割点位于数据点）对后验集中性能有何影响？
• RQ4 后验集中率如何依赖于真实回归函数的光滑性与变差程度？
• RQ5 对平衡划分的先验与用随机弧覆盖圆周的几何概率问题之间存在何种联系？

主要发现

• 后验集中率的阶为 $ n^{-1/2} \sqrt{K_{f_0} \log(n/K_{f_0})} $，接近极小极大最优。
• 即使真实跳跃数 $ K_{f_0} $ 未知，后验仍以该速率收缩，展示了完全自适应性。
• 该结果在无需调参的复杂度先验下成立，推荐默认值 $ c_K = 1 $。
• 对于跳跃幅度有界的函数，只要 $ K_{f_0} \lesssim \sqrt{n} $，该速率仍为最优。
• 当 $ K_{f_0} \gtrsim \sqrt{n} $ 时，速率退化为 $ n^{-1/2} \sqrt{K_{f_0} \log n} $，但仍接近最优。
• 对平衡划分的先验导致与几何概率的新联系：区间长度的分布对应于在网格上用随机弧覆盖圆周的概率。