[论文解读] Efficient Metropolis-Hastings Proposal Mechanisms for Bayesian Regression Tree Models

Matthew T. Pratola|arXiv (Cornell University)|Dec 6, 2013

Statistical Methods and Inference参考文献 5被引用 4

一句话总结

本文提出了两种新颖的Metropolis-Hastings提议机制——规则扰动和树旋转，用于贝叶斯回归树模型，以提升MCMC混合效率与后验探索能力。通过在保持局部结构变化的同时实现对模型空间中不同区域的高效遍历，所提方法显著提升了BART中的采样效率与不确定性量化能力，尤其在复杂非线性回归问题中表现突出。

ABSTRACT

Bayesian regression trees are flexible non-parametric models that are well suited to many modern statistical regression problems. Many such tree models have been proposed, from the simple single- tree model to more complex tree ensembles. Their non-parametric formulation allows for effective and efficient modeling of datasets exhibiting complex non-linear relationships between the model pre- dictors and observations. However, the mixing behavior of the Markov Chain Monte Carlo (MCMC) sampler is sometimes poor. This is because the proposals in the sampler are typically local alterations of the tree structure, such as the birth/death of leaf nodes, which does not allow for efficient traversal of the model space. This poor mixing can lead to inferential problems, such as under-representing uncertainty. In this paper, we develop novel proposal mechanisms for efficient sampling. The first is a rule perturbation proposal while the second we call tree rotation. The perturbation proposal can be seen as an efficient variation of the change proposal found in existing literature. The novel tree rotation proposal is simple to implement as it only requires local changes to the regression tree structure, yet it efficiently traverses disparate regions of the model space along contours of equal probability. When combined with the classical birth/death proposal, the resulting MCMC sampler exhibits good acceptance rates and properly represents model uncertainty in the posterior samples. We implement this sampling algorithm in the Bayesian Additive Regression Tree (BART) model and demonstrate its effectiveness on a prediction problem from computer experiments and a test function where structural tree variability is needed to fully explore the posterior.

研究动机与目标

• 为解决贝叶斯回归树MCMC采样器中混合性能差的问题，该问题阻碍了后验分布的有效探索。
• 开发提议机制，实现在模型空间中不同区域的高效遍历，而无需完全依赖局部的出生/死亡移动。
• 提升接受率，并确保后验样本中对模型不确定性的恰当表征。
• 提升贝叶斯加性回归树（BART）在复杂非线性回归场景下的可扩展性与鲁棒性。
• 提供实用且可实现的现有提议机制替代方案，具备计算高效且有效。

提出的方法

• 提出一种规则扰动机制，作为经典变更提议的高效变体，通过以改进提议效率的方式修改分裂规则。
• 引入树旋转——一种新颖的局部结构变换，通过重组子树实现对模型空间中遥远区域的探索，同时保持树的有效性。
• 将新提议与标准的出生/死亡移动相结合，形成满足细致平衡的混合MCMC采样器，从而提升混合性能。
• 在BART框架内实现该方法，确保与现有贝叶斯非参数回归流程的兼容性。
• 通过局部树结构修改实现全局模型空间移动，避免复杂重参数化或全局树重写的需求。
• 采用Metropolis-Hastings接受比率，确保马氏链收敛至正确的后验分布。

实验结果

研究问题

• RQ1 规则扰动与树旋转提议是否能显著改善贝叶斯回归树中的MCMC混合性能？
• RQ2 与标准的出生/死亡移动相比，这些新提议是否能实现更高效的模型空间探索？
• RQ3 新提议与经典提议的结合能否在后验样本中实现更优的模型不确定性表征？
• RQ4 所提机制在高维或非线性回归问题中的表现如何？
• RQ5 树旋转机制在计算效率与跨模型空间不同区域的遍历能力方面是否兼具高效与有效？

主要发现

• 规则扰动提议通过提升模型空间的局部探索效率，优于现有变更提议。
• 树旋转通过极小的局部结构变化实现对模型空间遥远区域的高效遍历，显著提升混合性能。
• 组合采样器实现了高接受率，并有效捕捉后验样本中的模型不确定性。
• 在计算机实验与测试函数上的实证结果表明，结构可变性对于实现完整的后验探索至关重要，而新提议机制可实现这一点。
• 在复杂回归问题中，所提方法在有效样本量与收敛速度方面显著优于标准的出生/死亡移动。
• 该方法具有鲁棒性与可扩展性，在高维或非线性场景下仍表现出色。