[论文解读] Bayesian Estimation of Sparse Spiked Covariance Matrices in High Dimensions

Fangzheng Xie, Yanxun Xu+2 more|arXiv (Cornell University)|Aug 22, 2018

Blind Source Separation Techniques参考文献 25被引用 7

一句话总结

本文提出了一种贝叶斯方法，用于在潜在因子模型中通过加载矩阵上的新型矩阵脉冲-平滑LASSO先验，估计高维稀疏脉冲协方差矩阵。该方法在协方差矩阵（算子范数）和主子空间（投影损失与两到无穷范数损失）上建立了最优后验收缩率，其中在低秩和有界相干性条件下，后者的收缩率更紧致。

ABSTRACT

We propose a Bayesian methodology for estimating spiked covariance matrices with jointly sparse structure in high dimensions. The spiked covariance matrix is reparametrized in terms of the latent factor model, where the loading matrix is equipped with a novel matrix spike-and-slab LASSO prior, which is a continuous shrinkage prior for modeling jointly sparse matrices. We establish the rate-optimal posterior contraction for the covariance matrix with respect to the operator norm as well as that for the principal subspace with respect to the projection operator norm loss. We also study the posterior contraction rate of the principal subspace with respect to the two-to-infinity norm loss, a novel loss function measuring the distance between subspaces that is able to capture element-wise eigenvector perturbations. We show that the posterior contraction rate with respect to the two-to-infinity norm loss is tighter than that with respect to the routinely used projection operator norm loss under certain low-rank and bounded coherence conditions. In addition, a point estimator for the principal subspace is proposed with the rate-optimal risk bound with respect to the projection operator norm loss. These results are based on a collection of concentration and large deviation inequalities for the matrix spike-and-slab LASSO prior. The numerical performance of the proposed methodology is assessed through synthetic examples and the analysis of a real-world face data example.

研究动机与目标

• 开发一种在主子空间中联合稀疏条件下的高维协方差估计贝叶斯方法。
• 解决高维脉冲协方差模型中稀疏特征向量带来的后验收缩挑战。
• 在多种损失函数下建立后验集中性的理论保证，包括新颖的两到无穷范数损失。
• 提出一种主子空间的点估计器，并在投影算子范数损失下实现率最优风险界。
• 利用集中与大偏差不等式，为矩阵脉冲-平滑LASSO先验提供严格的理论基础。

提出的方法

• 通过包含加载矩阵U的潜在因子模型重新参数化脉冲协方差矩阵。
• 引入矩阵脉冲-平滑LASSO先验，以在加载矩阵U中诱导联合稀疏性。
• 使用连续收缩先验来建模联合稀疏矩阵，从而实现高效的后验计算与理论分析。
• 利用专为矩阵脉冲-平滑LASSO先验设计的集中不等式，建立后验收缩率。
• 分析三种损失函数下的后验收缩：算子范数、投影算子范数与两到无穷范数。
• 基于后验均值提出一种主子空间的点估计器，在投影算子范数损失下实现率最优风险界。

实验结果

研究问题

• RQ1 贝叶斯方法能否在高维稀疏脉冲协方差矩阵上实现率最优后验收缩？
• RQ2 两到无穷范数损失与标准投影算子范数在衡量子空间估计误差方面有何比较？
• RQ3 矩阵脉冲-平滑LASSO先验是否能在联合稀疏条件下实现最优后验集中？
• RQ4 在不同损失函数下，主子空间的后验收缩具有哪些理论保证？
• RQ5 基于后验推导的点估计器能否在投影算子范数损失下达到极小极大风险率？

主要发现

• 协方差矩阵的后验收缩率在算子范数下为率最优。
• 主子空间的后验收缩率在投影算子范数损失下为率最优。
• 在低秩与有界相干性条件下，两到无穷范数损失下的后验收缩率比投影算子范数损失更紧致。
• 矩阵脉冲-平滑LASSO先验通过新颖的集中与大偏差不等式，实现了最优后验集中。
• 基于后验均值的点估计器在投影算子范数损失下实现了极小极大风险界。
• 数值结果在合成数据与真实人脸图像数据上验证了该方法的有效性，表现出鲁棒性与可解释性。