[论文解读] Binary Space Partitioning Forests

Xuhui Fan, Bin Li+1 more|arXiv (Cornell University)|Mar 22, 2019

Machine Learning and Data Classification参考文献 29被引用 10

一句话总结

本文提出BSP-Forest，一种新颖的贝叶斯非参数回归模型，通过每次采样两个自由维度，将二元空间分割（BSP）-树过程扩展至d维空间，生成灵活且自洽的超平面切割。该方法在切割次数更少的情况下实现最先进性能，相较于Mondrian Forest在真实世界数据集上表现更优，通过自洽且几何感知的分割策略捕捉复杂成对特征依赖关系。

ABSTRACT

The Binary Space Partitioning~(BSP)-Tree process is proposed to produce flexible 2-D partition structures which are originally used as a Bayesian nonparametric prior for relational modelling. It can hardly be applied to other learning tasks such as regression trees because extending the BSP-Tree process to a higher dimensional space is nontrivial. This paper is the first attempt to extend the BSP-Tree process to a d-dimensional (d>2) space. We propose to generate a cutting hyperplane, which is assumed to be parallel to d-2 dimensions, to cut each node in the d-dimensional BSP-tree. By designing a subtle strategy to sample two free dimensions from d dimensions, the extended BSP-Tree process can inherit the essential self-consistency property from the original version. Based on the extended BSP-Tree process, an ensemble model, which is named the BSP-Forest, is further developed for regression tasks. Thanks to the retained self-consistency property, we can thus significantly reduce the geometric calculations in the inference stage. Compared to its counterpart, the Mondrian Forest, the BSP-Forest can achieve similar performance with fewer cuts due to its flexibility. The BSP-Forest also outperforms other (Bayesian) regression forests on a number of real-world data sets.

研究动机与目标

• 将二元空间分割（BSP）-树过程从2D扩展至d维空间，同时保持其自洽性特征。
• 开发一种可扩展且高效的回归集成模型，利用高维特征空间中的联合二维切割。
• 通过将切割限制在每个节点内训练数据的凸包中，降低推理的几何复杂度。
• 通过维度使用分析，有效识别驱动预测性能的关键特征对。
• 通过实证验证，证明该模型在预测准确性和样本效率方面优于现有贝叶斯与频率学派回归森林。

提出的方法

• 扩展的BSP-树过程生成与d−2个维度平行的切割超平面，通过按节点在每对维度上的投影周长成比例的概率选择两个自由维度。
• 每个节点被投影到所选的一对维度上，并在2D投影中应用标准BSP-树切割，随后将该切割扩展至完整的d维空间，其余维度保持固定方向。
• 通过精心设计的采样策略，保持过程的自洽性，确保在领域限制下分布不变性。
• 通过组合多个此类树构建集成模型BSP-Forest，每棵树独立选择维度对，从而实现对成对特征交互的灵活建模。
• 采用高效的粒子吉布斯采样器进行推理，切割仅在每个节点内训练数据的凸包范围内应用，显著降低计算成本。
• 该方法确保简化的采样过程与完整几何计算保持相同的平衡分布，得益于自洽性。

实验结果

研究问题

• RQ1 BSP-树过程能否在保留其自洽性特征的前提下扩展至d维空间？
• RQ2 如何设计一种灵活的高维空间分割策略，实现联合二维切割而不引发灾难性的几何复杂度？
• RQ3 此类扩展是否能带来相较于Mondrian Forest和BART等现有方法更高效、更准确的回归森林？
• RQ4 BSP-Forest在多大程度上能识别决定目标变量的关键特征对？
• RQ5 基于凸包的切割是否能在提升计算效率的同时保持完整几何模型的统计特性？

主要发现

• BSP-Forest在所有五个真实世界数据集上均取得最低的均方根平均误差（RMAE），优于BART、随机森林、梯度提升和Mondrian Forest。
• 在Friedman函数上，BSP-Forest的RMAE为0.15±0.03，与Mondrian Forest相当，但切割次数显著更少。
• 在所有预算值下，BSP-Forest使用的切割次数均少于Mondrian Forest，当预算从0.4增至1.4时，平均切割数仅从4增加至5。
• 在servo数据集上，BSP-Forest的RMAE为0.23±0.04，与最佳表现方法持平，但切割次数更少。
• 在tecator数据集上，BSP-Forest的RMAE为2.09±0.61，优于所有基线方法，包括Mondrian Forest和BART。
• 维度使用分析显示，BSP-Forest即使在无先验知识的情况下，也能正确识别Friedman函数中真实的5个相关维度（x₁至x₅）。