[论文解读] Binary Space Partitioning Forest

Xuhui Fan, Bin Li+1 more|arXiv (Cornell University)|Apr 11, 2019

Machine Learning and Data Classification被引用 5

一句话总结

该论文通过采样两个自由维度以定义与 d−2 个维度平行的切割超平面，将二叉空间分割（BSP）树过程扩展至 d 维空间（d > 2），保持了自洽性。由此产生的 BSP-forest 集成模型在切割次数更少的情况下，实现了与 Mondrian Forest 相当或更优的回归性能，得益于更高的灵活性和更低的几何计算复杂度。

ABSTRACT

The Binary Space Partitioning~(BSP)-Tree process is proposed to produce flexible 2-D partition structures which are originally used as a Bayesian nonparametric prior for relational modelling. It can hardly be applied to other learning tasks such as regression trees because extending the BSP-Tree process to a higher dimensional space is nontrivial. This paper is the first attempt to extend the BSP-Tree process to a d-dimensional (d>2) space. We propose to generate a cutting hyperplane, which is assumed to be parallel to d-2 dimensions, to cut each node in the d-dimensional BSP-tree. By designing a subtle strategy to sample two free dimensions from d dimensions, the extended BSP-Tree process can inherit the essential self-consistency property from the original version. Based on the extended BSP-Tree process, an ensemble model, which is named the BSP-Forest, is further developed for regression tasks. Thanks to the retained self-consistency property, we can thus significantly reduce the geometric calculations in the inference stage. Compared to its counterpart, the Mondrian Forest, the BSP-Forest can achieve similar performance with fewer cuts due to its flexibility. The BSP-Forest also outperforms other (Bayesian) regression forests on a number of real-world data sets.

研究动机与目标

• 将贝叶斯非参数 BSP-树过程从 2D 扩展至 d 维空间（d > 2），以提升其在更广泛学习任务中的适用性。
• 通过引入结构化的超平面切割策略，解决 BSP-树向高维空间非平凡扩展的挑战。
• 在更高维度中保留原始 BSP-树过程的自洽性，以实现高效推理。
• 开发一种灵活、可扩展的集成模型——BSP-Forest——用于回归任务，同时降低计算开销。
• 在真实世界数据集上，证明其性能优于现有的贝叶斯与非贝叶斯回归森林。

提出的方法

• 提出一种 d 维 BSP-树过程，其中每个节点通过与 d−2 个维度平行的超平面进行分割，将维度降低至两个自由维度以实现切割。
• 设计一种采样策略，从 d 个维度中选择两个自由维度，以实现在高维空间中高效且灵活的划分。
• 通过确保各分区之间条件分布的一致性，保持原始 BSP-树过程的自洽性。
• 通过组合多个 d 维 BSP-树，构建集成模型 BSP-Forest，以提高回归精度和泛化能力。
• 利用自洽性显著减少推理过程中的几何计算，提升效率。
• 利用扩展后的过程实现在高维回归中可扩展且自适应的划分，同时不损失概率一致性。

实验结果

研究问题

• RQ1 BSP-树过程能否在保持其核心概率性质的前提下，有意义地扩展至 d 维空间（d > 2）？
• RQ2 如何设计一种超平面切割策略，以在高维划分中保持自洽性？
• RQ3 维度采样策略对最终划分结构的灵活性与效率有何影响？
• RQ4 BSP-Forest 在预测准确率和切割次数方面，与 Mondrian Forest 及其他回归森林相比表现如何？
• RQ5 与替代方法相比，保留的自洽性在推理过程中在多大程度上减少了几何计算？

主要发现

• 扩展后的 BSP-树过程成功推广至 d 维空间（d > 2），同时保持了原始 2D 版本的自洽性。
• BSP-Forest 模型在切割次数更少的情况下，实现了与 Mondrian Forest 相当或更优的回归性能，归因于更高的划分灵活性。
• 自洽性使得推理过程中几何计算显著减少，提升了可扩展性。
• 在多个真实世界数据集上，BSP-Forest 在预测准确率方面优于其他（贝叶斯）回归森林。
• 对两个自由维度的采样策略确保了有效且高效的划分，同时不损害概率一致性。