[论文解读] Bayesian Linear Regression for Multivariate Responses Under Group Sparsity

Bo Ning, Seonghyun Jeong+1 more|arXiv (Cornell University)|Jul 10, 2018

Statistical Methods and Inference参考文献 25被引用 4

一句话总结

该论文提出了一种具有组稀疏性与未知高维协方差的贝叶斯多变量线性回归模型，采用带有ℓ₂,₁-正则化的斯皮克-斯拉布先验，并对协方差矩阵引入基于特征分解的新型先验。在欧氏度量下建立了后验收缩率，并通过伯恩斯坦-冯·米塞斯定理证明了其频派有效性，确保了模型选择的一致性与模型维度的恢复。

ABSTRACT

We study frequentist properties of a Bayesian high-dimensional multivariate linear regression model with correlated responses. The predictors are separated into many groups and the group structure is pre-determined. Two features of the model are unique: (i) group sparsity is imposed on the predictors. (ii) the covariance matrix is unknown and its dimensions can also be high. We choose a product of independent spike-and-slab priors on the regression coefficients and a new prior on the covariance matrix based on its eigendecomposition. Each spike-and-slab prior is a mixture of a point mass at zero and a multivariate density involving a $\ell_{2,1}$-norm. We first obtain the posterior contraction rate, the bounds on the effective dimension of the model with high posterior probabilities. We then show that the multivariate regression coefficients can be recovered under certain compatibility conditions. Finally, we quantify the uncertainty for the regression coefficients with frequentist validity through a Bernstein-von Mises type theorem. The result leads to selection consistency for the Bayesian method. We derive the posterior contraction rate using the general theory by constructing a suitable test from the first principle using moment bounds for certain likelihood ratios. This leads to posterior concentration around the truth with respect to the average Rényi divergence of order 1/2. This technique of obtaining the required tests for posterior contraction rate could be useful in many other problems.

研究动机与目标

• 研究具有组稀疏性与未知协方差矩阵的贝叶斯基高维多变量线性回归的频派性质。
• 构建一种先验结构，通过在回归系数上使用带有ℓ₂,₁-正则化的斯皮克-斯拉布先验，实现组稀疏性。
• 基于特征分解，为协方差矩阵构造一种新型先验，以处理高维且未知的协方差结构。
• 在平均瑞尼散度阶数为1/2的度量下建立后验收缩率，并将其转换为欧氏度量下的收缩率。
• 通过伯恩斯坦-冯·米塞斯型定理证明后验推断的频派有效性，确保模型选择的一致性。

提出的方法

• 在回归系数上使用独立的斯皮克-斯拉布先验乘积，其中每个分量均为零点质量与包含ℓ₂,₁-正则化的多元密度的混合。
• 通过在组间应用ℓ₂,₁-范数实现组稀疏性，促使整个预测变量组被同时选中或剔除。
• 基于其特征分解，为精度矩阵提出一种新先验，确保适当的集中性与高维自适应能力。
• 通过基于矩界对似然比的构造，从基本原理出发建立后验收缩的一般理论。
• 将参数空间划分为小块，并通过矩界控制误差概率，从而在瑞尼散度下实现收缩率。
• 通过测度变换论证，将基于瑞尼散度的收缩率转换为欧氏度量下的结果，确保有效的频派推断。

实验结果

研究问题

• RQ1 能否为具有组稀疏性与未知高维协方差的贝叶斯基多变量回归建立后验收缩率？
• RQ2 所提出的带有ℓ₂,₁-正则化的斯皮克-斯拉布先验是否能实现一致的模型选择并恢复真实的组结构？
• RQ3 基于特征分解的协方差矩阵新先验能否确保适当的集中性与高维自适应能力？
• RQ4 后验分布是否在伯恩斯坦-冯·米塞斯定理意义下渐近正态，从而确保可信区间具有频派有效性？
• RQ5 在相容性条件与高维尺度下，该方法能否实现选择一致性？

主要发现

• 在平均瑞尼散度阶数为1/2的度量下建立了后验收缩率，并将该率转换为回归参数的欧氏度量下的收缩率。
• 该方法实现了后验集中在真实回归系数附近，且在高后验概率下有效模型维度被有界。
• 在相容性条件下，模型维度恢复有效，非零组的数量被一致估计。
• 协方差矩阵的先验集中性得到控制，真实精度矩阵邻域的先验概率下界为−d³ log n的常数倍。
• 通过控制筛法熵与先验质量估计，确保log N* ≲ nεₙ²，这对后验收缩至关重要。
• 实现了选择一致性，且伯恩斯坦-冯·米塞斯定理成立，验证了贝叶斯基可信集在高维情形下作为频派置信集的有效性。