[论文解读] High-dimensional nonparametric monotone function estimation using BART

Hugh Chipman, Edward I. George+2 more|arXiv (Cornell University)|Dec 6, 2016

Statistical Methods and Inference参考文献 22被引用 15

一句话总结

本文提出单调BART，一种受约束的贝叶斯加性回归树方法，通过在一个或多个预测变量上施加单调性约束，以提升高维设置下的非参数回归估计。通过采用一种新颖的MCMC算法整合单调性约束，该方法实现了更平滑、更具可解释性且预测性更强的函数估计，同时降低了不确定性与先验敏感性。

ABSTRACT

For the estimation of a regression relationship between Y and a large set of potential predictors x 1 , . . . , x p , the flexible nature of a nonparametric approach such as BART (Bayesian Additive Regression Trees) allows for a much richer set of possibilities than a more restrictive parametric approach. However, it may often occur that subject matter considerations suggest the relationship will be monotone in one or more of the predictors. For such situations, we propose monotone BART, a constrained version of BART that uses the monotonicity information to improve function estimation without the need of using a parametric form. Imposing monotonicity, when appropriate, results in (i) function estimates that are smoother and more interpretable, (ii) better out-of-sample predictive performance, (iii) less uncertainty, and (iv) less sensitivity to prior choice. While some of the key aspects of the unconstrained BART model carry over directly to monotone BART, the imposition of the monotonicity constraints necessitates a fundamental rethinking of how the model is implemented. In particular, in the original BART algorithm, the Markov Chain Monte Carlo algorithm relied on a conditional conjugacy that is no longer available in a high-dimensional, constrained space.

研究动机与目标

• 为解决在高维设置下，当领域知识提示存在单调关系时，对灵活但可解释的回归模型的需求。
• 通过整合单调性约束，提升非参数函数估计的预测性能并减少不确定性。
• 开发一种计算上可行的MCMC算法用于单调BART，使其在保持BART灵活性的同时，在高维预测变量空间中强制执行单调性。
• 通过利用单调性作为模型中的结构信息，降低对先验分布的敏感性。

提出的方法

• 该方法通过在特定预测变量上施加单调性约束，扩展了BART，使用一种受约束的先验分布，以确保估计函数在相关协变量上为非递减或非递增。
• 开发了一种新颖的马尔可夫链蒙特卡洛（MCMC）算法，替代标准BART中使用的条件共轭性，从而实现在单调性约束下的后验计算。
• 该算法采用重参数化与拒绝采样策略，确保每个树分量均对整体单调函数有贡献，同时保持BART的可加结构。
• 该方法在保持BART的贝叶斯非参数灵活性的同时，通过受约束的先验和修改后的后验模拟方案引入了单调性。
• 通过采用稀疏、可加的树结构，该实现能够高效探索受约束的参数空间，从而适应高维预测变量空间。

实验结果

研究问题

• RQ1 单调性约束是否能提升高维设置下非参数回归的准确性和可解释性？
• RQ2 在BART中强制执行单调性如何影响不确定性量化与先验敏感性？
• RQ3 在高维、非参数模型中施加单调性时，需要何种计算策略以保持MCMC效率？
• RQ4 单调BART在样本外预测方面相较于无约束BART的性能提升程度如何？

主要发现

• 通过在相关预测变量中强制执行基于领域知识的单调性，单调BART生成了更平滑且更具可解释性的函数估计。
• 受约束模型在样本外预测性能方面优于无约束BART，尤其当真实关系中存在单调性时表现更优。
• 通过约束引入结构信息，单调BART降低了后验不确定性，并减少了对先验选择的敏感性。
• 所提出的MCMC算法成功实现了在单调性约束下的后验计算，克服了受约束空间中条件共轭性的丧失。