[论文解读] Bayesian Nonparametric Covariance Regression

Emily B. Fox, David B. Dunson|arXiv (Cornell University)|Jan 11, 2011

Statistical Methods and Bayesian Inference参考文献 20被引用 12

一句话总结

本文提出了一种贝叶斯非参数框架用于多元协方差回归，通过未知字典函数（例如高斯过程）的稀疏组合来建模与预测变量相关的协方差矩阵。该方法通过具有预测变量特异性载荷的因子模型，诱导出一种灵活且计算上可行的先验分布，从而实现共轭后验更新并稳健处理缺失数据，具有理论支持，并在模拟数据和真实世界流感趋势数据上得到实证验证。

ABSTRACT

Although there is a rich literature on methods for allowing the variance in a univariate regression model to vary with predictors, time and other factors, relatively little has been done in the multivariate case. Our focus is on developing a class of nonparametric covariance regression models, which allow an unknown p x p covariance matrix to change flexibly with predictors. The proposed modeling framework induces a prior on a collection of covariance matrices indexed by predictors through priors for predictor-dependent loadings matrices in a factor model. In particular, the predictor-dependent loadings are characterized as a sparse combination of a collection of unknown dictionary functions (e.g, Gaussian process random functions). The induced covariance is then a regularized quadratic function of these dictionary elements. Our proposed framework leads to a highly-flexible, but computationally tractable formulation with simple conjugate posterior updates that can readily handle missing data. Theoretical properties are discussed and the methods are illustrated through simulations studies and an application to the Google Flu Trends data.

研究动机与目标

• 为解决缺乏灵活、非参数方法来建模随预测变量变化的多元协方差矩阵的问题。
• 开发一种计算高效、可扩展的方法，避免参数假设并能处理缺失数据。
• 通过基于字典的载荷的因子模型，确保可解释性及响应变量置换下的不变性。
• 通过随机过程实现对协方差结构中复杂非线性依赖关系的建模。
• 为高维设置下的协方差回归提供理论基础坚实且可共轭计算的框架。

提出的方法

• 该方法将协方差矩阵 Σ(x) 建模为基于预测变量依赖载荷的正则化二次函数，这些载荷来自未知字典函数的稀疏组合。
• 字典函数被建模为高斯过程，从而实现对载荷随预测变量变化方式的灵活、非参数表示。
• 载荷矩阵表示为基函数（字典元素）的线性组合，通过层次先验实现稀疏性。
• 采用因子模型结构：y = Θξ(x)η + ε，其中 ξ(x) 为字典函数，η 为随机系数。
• 通过条件化字典元素并利用高斯过程先验的预测分布，推导出共轭后验更新。
• 该方法通过吉布斯采样方案中的条件预测分布，自然地处理缺失数据。

实验结果

研究问题

• RQ1 非参数贝叶斯框架能否以计算高效的方式灵活建模随预测变量变化的多元协方差矩阵？
• RQ2 如何为由预测变量索引的一组协方差矩阵构建先验，以同时保证灵活性和计算可行性？
• RQ3 所提出的方法在捕捉复杂非线性协方差结构方面，相较于参数替代方法的优越程度如何？
• RQ4 该方法在缺失数据和高维设置下的表现如何？
• RQ5 所诱导的协方差过程的理论性质如何，特别是关于平稳性和长程依赖性？

主要发现

• 所提出的模型通过高斯过程先验下的稀疏字典基表示载荷，实现了灵活的非参数协方差回归。
• 该方法支持共轭后验更新，确保计算效率，并可扩展至中等到高维问题。
• 理论分析表明，所诱导的协方差过程具有有效的二阶结构，并能显式表达 Σ(x) 与 Σ(x') 之间元素的交叉协方差。
• 模拟结果表明，该方法能有效捕捉参数模型无法检测到的复杂非线性协方差模式。
• 在 Google Flu Trends 应用中，该模型成功捕捉了流感相关搜索词之间随时间变化的相关性，并提升了预测性能。
• 框架对缺失数据具有鲁棒性，模拟研究中在数据丢失情况下仍能保持一致的后验推断。