[论文解读] Bayesian nonparametric multivariate convex regression

Lauren A. Hannah, David B. Dunson|arXiv (Cornell University)|Sep 1, 2011

Markov Chains and Monte Carlo Methods参考文献 32被引用 23

一句话总结

该论文提出了一种贝叶斯非参数方法用于多元凸回归，通过将回归函数建模为一组随机超平面的逐点最大值，确保几乎必然凸性。该方法使用可逆跳跃MCMC算法进行后验计算，在真实函数位于d维子空间时，于经验L₂范数下实现了$\log(n)^{-1}n^{-1/(d+2)}$的收敛速率。

ABSTRACT

In many applications, such as economics, operations research and reinforcement learning, one often needs to estimate a multivariate regression function f subject to a convexity constraint. For example, in sequential decision processes the value of a state under optimal subsequent decisions may be known to be convex or concave. We propose a new Bayesian nonparametric multivariate approach based on characterizing the unknown regression function as the max of a random collection of unknown hyperplanes. This specification induces a prior with large support in a Kullback-Leibler sense on the space of convex functions, while also leading to strong posterior consistency. Although we assume that f is defined over R^p, we show that this model has a convergence rate of log(n)^{-1} n^{-1/(d+2)} under the empirical L2 norm when f actually maps a d dimensional linear subspace to R. We design an efficient reversible jump MCMC algorithm for posterior computation and demonstrate the methods through application to value function approximation.

研究动机与目标

• 解决多元凸回归中缺乏可扩展且理论基础坚实的贝叶斯方法的问题。
• 通过实现高效的后验计算和强理论一致性，克服现有凸回归方法（如最小二乘估计器和基于核的方法）的局限性。
• 构建一个灵活的凸函数非参数先验，支持大模型空间并具备强后验一致性。
• 使方法适用于高维和大规模数据集，特别是在强化学习和运筹学中价值函数为凸的场景。
• 通过可逆跳跃MCMC和自适应超平面增删策略，确保模型在计算上的可行性。

提出的方法

• 将未知回归函数$f$建模为一组随机超平面的逐点最大值：$f(\mathbf{x}) = \max_{k=1}^K (\alpha_k + \beta_k^T \mathbf{x})$，以确保几乎必然凸性。
• 在超平面数量$K$及其参数$\alpha_k, \beta_k$上定义先验，通过构造使函数保持凸性。
• 使用可逆跳跃马尔可夫链蒙特卡洛（RJMCMC）算法联合探索模型空间，包括添加、删除或重新定位超平面的移动。
• 设计RJMCMC的提议分布时，利用数据驱动的划分：对于重新定位，使用当前超平面分配；对于删除和添加，使用基于活跃超平面的混合提议。
• 对于添加操作，通过$M$个线性组合和$L$个节点沿随机或坐标对齐方向对现有超平面区域进行分割，生成候选划分。
• 为产生平衡划分的分割分配更高的提议权重，使用$p_b(j,\ell,m) \propto n_{j^-}^{j,\ell,m} n_{j^+}^{j,\ell,m}$，从而提升混合效率与收敛性。

实验结果

研究问题

• RQ1 能否构建一个贝叶斯非参数模型，以确保回归函数的几乎必然凸性，同时保持计算可行性？
• RQ2 当真实函数位于低维子空间时，此类模型的后验一致性和收敛速率如何？
• RQ3 如何为具有随机模型维度（超平面数量）和复杂状态空间的模型设计高效的可逆跳跃MCMC抽样？
• RQ4 该方法在高维或大规模数据上的可扩展性和预测准确性方面，能否优于现有凸回归技术？
• RQ5 使用最大值-超平面先验是否能带来强理论保证，例如$L_1$一致性与最优收敛速率？

主要发现

• 所提出的多元贝叶斯凸回归（MBCR）模型在凸函数空间上诱导出具有大Kullback-Leibler支撑的先验。
• 该方法在$L_1$范数下实现了强后验一致性，确保后验集中在真实凸函数周围。
• 当真实回归函数$f$将$d$维线性子空间映射到$\mathbb{R}$时，MBCR模型在经验$L_2$范数下达到$\log(n)^{-1}n^{-1/(d+2)}$的收敛速率。
• 可逆跳跃MCMC算法通过使用自适应提议分布来高效探索状态空间，涵盖超平面的增加、删除和重新定位。
• 增加提议机制通过使用与两个结果分区大小乘积成比例的权重，优先选择平衡分割，从而提升混合效率与收敛性。
• 实证结果表明，该方法在价值函数逼近中表现有效，尤其在强化学习场景中，凸性是已知的结构约束。