[论文解读] Bayesian Functional Generalized Additive Models with Sparsely Observed Covariates

Mathew W. McLean, Fabian Scheipl+3 more|arXiv (Cornell University)|May 15, 2013

Statistical Methods and Inference参考文献 42被引用 5

一句话总结

本文提出了一种贝叶斯函数广义加法模型（FGAM），用于处理稀疏观测、存在误差的功能自变量的标量-函数回归问题，通过马尔可夫链蒙特卡洛（MCMC）和变分推断联合估计函数轨迹与模型参数。该方法通过考虑重构曲线中的不确定性，优于两步法，在稀疏纵向数据中实现了灵活的非线性响应-预测变量关系。

ABSTRACT

The functional generalized additive model (FGAM) was recently proposed in McLean et al. (2013) as a more flexible alternative to the common functional linear model (FLM) for regressing a scalar on functional covariates. In this paper, we develop a Bayesian version of FGAM for the case of Gaussian errors with identity link function. Our approach allows the functional covariates to be sparsely observed and measured with error, whereas the estimation procedure of McLean et al. (2013) required that they be noiselessly observed on a regular grid. We consider both Monte Carlo and variational Bayes methods for fitting the FGAM with sparsely observed covariates. Due to the complicated form of the model posterior distribution and full conditional distributions, standard Monte Carlo and variational Bayes algorithms cannot be used. The strategies we use to handle the updating of parameters without closed-form full conditionals should be of independent interest to applied Bayesian statisticians working with nonconjugate models. Our numerical studies demonstrate the benefits of our algorithms over a two-step approach of first recovering the complete trajectories using standard techniques and then fitting a functional regression model. In a real data analysis, our methods are applied to forecasting closing price for items up for auction on the online auction website eBay.

研究动机与目标

• 为解决现有函数广义加法模型（FGAM）要求完全观测、无噪声功能预测变量的局限性。
• 开发一种贝叶斯框架，在协变量稀疏观测且存在测量误差时，联合估计功能轨迹与模型参数。
• 克服两步法的不准确性，即先通过平滑重构曲线，再拟合回归模型。
• 提供一种方法，通过完整的后验推断自然地考虑估计功能预测变量中的不确定性。
• 将FGAM扩展至真实纵向数据场景，其中功能协变量为非均匀采样且存在测量误差。

提出的方法

• 使用线性混合模型框架，将功能预测变量表示为具有基展开的随机效应，实现对稀疏曲线的灵活、平滑重构。
• 通过张量积B样条对FGAM中的未知双变量函数F(X(t), t)进行建模，平滑参数通过经验贝叶斯方法估计。
• 采用分层先验结构，对方差分量和精度参数使用条件共轭先验，支持完整的贝叶斯推断。
• 开发定制的MCMC和变分贝叶斯算法，以处理缺乏闭式解的非共轭全条件分布。
• 在变分推断方案中使用随机近似和数值积分，近似对潜变量的不可计算期望。
• 通过均值场变分贝叶斯和吉布斯抽样，对所有参数（包括功能系数、平滑参数和误差方差）进行迭代更新。

实验结果

研究问题

• RQ1 在稀疏、不规则且存在误差的纵向数据背景下，贝叶斯半参数方法能否联合估计功能预测变量轨迹与模型参数？
• RQ2 与标准的两步法（先平滑后回归）相比，曲线与回归参数的联合估计表现如何？
• RQ3 测量误差与稀疏采样对功能回归模型的准确性与不确定性量化有何影响？
• RQ4 对于此复杂且非共轭的模型，MCMC与变分贝叶斯方法在计算效率与后验近似质量方面表现如何？
• RQ5 所提出的方法能否灵活地建模功能预测变量与标量响应之间的非线性、可加关系，而无需假设线性关系？

主要发现

• 所提出的贝叶斯FGAM在预测准确性方面显著优于两步法，尤其在高测量误差和稀疏性条件下。
• 通过MCMC和变分贝叶斯实现的联合估计成功考虑了重构功能曲线中的不确定性，而两步法无法捕捉这一点。
• 变分贝叶斯算法提供了计算高效的MCMC替代方案，且后验近似质量相当，可扩展至更大规模数据集。
• 该方法能有效估计未知双变量函数F(X(t), t)，通过适当的平滑避免在每例数据有限时的过拟合。
• 模拟研究显示，即使每条曲线仅有一次或两次观测，模型仍能保持低偏差并实现良好的置信区间覆盖。
• 在eBay拍卖数据应用中，该模型成功捕捉了出价行为中复杂的非线性时间模式，相比标准FLM和两步FGAM方法，提升了价格预测性能。