[论文解读] Local Bayesian Regression

Nils Lid Hjort|arXiv (Cornell University)|Feb 25, 2026

Statistical Methods and Inference参考文献 19被引用 1

一句话总结

本文发展了贝叶斯非参数与半参数方法，用局部参数化模型及局部先验来估计回归曲线，结合经验贝叶斯与分层贝叶斯以自动化先验选择，并展示在多协变量情形下相较于标准非参数方法的潜在改进。

ABSTRACT

This paper develops a class of Bayesian non- and semiparametric methods for estimating regression curves and surfaces. The main idea is to model the regression as locally linear, and then place suitable local priors on the local parameters. The method requires the posterior distribution of the local parameters given local data, and this is found via a suitably defined local likelihood function. When the width of the local data window is large the methods reduce to familiar fully parametric Bayesian methods, and when the width is small the estimators are essentially nonparametric. When noninformative reference priors are used the resulting estimators coincide with recently developed well-performing local weighted least squares methods for nonparametric regression. Each local prior distribution needs in general a centre parameter and a variance parameter. Of particular interest are versions of the scheme that are more or less automatic and objective in the sense that they do not require subjective specifications of prior parameters. We therefore develop empirical Bayes methods to obtain the variance parameter and a hierarchical Bayes method to account for uncertainty in the choice of centre parameter. There are several possible versions of the general programme, and a number of its specialisations are discussed. Some of these are shown to be capable of outperforming standard nonparametric regression methods, particularly in situations with several covariates.

研究动机与目标

• 介绍用于估计回归曲线和曲面的局部参数化贝叶斯框架。
• 在局部参数（中心和方差）上建立局部加权似然与先验。
• 提供经验贝叶斯和分层贝叶斯方法以自动化先验设定。
• 展示与局部常数和局部线性回归的联系与扩展。
• 说明可应用于泊松回归和多变量协变量的情形。

提出的方法

• 将回归建模为在 x 周围的局部线性（或局部恒定）形式，具有局部参数 beta_x。
• 使用核权重定义局部似然 L_n(x, beta, sigma)，形成局部平滑似然。
• 在局部参数上放置正态先验，中心为 m0(x)，方差为 sigma^2/w0，导致贝叶斯估计量为局部后验均值。
• 推导出与起始曲线 m0 的贝叶斯估计量的闭式混合形式，结合 NW 或 LL 等局部估计，权重由 w0 和 s0(x) 控制。
• 使用经验贝叶斯从局部数据的无条件分布估计 sigma 和 w0(x)；提出分层贝叶斯以通过 xi（起始曲线参数）对 m0 的不确定性进行建模。
• 将局部贝叶斯框架扩展到局部线性模型，并讨论如何估计局部精度矩阵以及在 x 之间结合信息（第 2、3 节）。

实验结果

研究问题

• RQ1 如何将局部参数化先验整合到贝叶斯回归中，以在参数化与非参数化之间自适应？
• RQ2 如何利用经验贝叶斯与分层贝叶斯自动化先验选择并考虑局部曲线不确定性？
• RQ3 在贝叶斯回归中，局部核平滑似然在理论与实践中的好处，尤其是在存在多变量协变量时？
• RQ4 局部贝叶斯方法与实际中的 NW 和 LL 估计有何关系并能提升哪些方面？
• RQ5 该框架是否可推广至泊松回归及其他回归模型？

主要发现

• 局部贝叶斯估计量是起始曲线与局部频率估计量的凸混合，权重由先验强度和局部数据信息决定。
• 对先验精度 w0,x 与 sigma 的经验贝叶斯估计在数据密度稀疏区域特别具有适应性。
• 分层贝叶斯通过对 xi 的后验积分，允许对起始曲线 m0(x, xi) 的不确定性进行平均。
• 该方法可推广至局部线性模型和其他回归情形，在存在多协变量时可能优于标准非参数方法。
• 将局部贝叶斯方法与标准局部回归、核平滑和 Stein-type 收缩思想建立联系。
• 将泊松回归及其他非高斯设定作为扩展进行讨论。