[论文解读] Graphical Nonconvex Optimization for Optimal Estimation in Gaussian Graphical Models

Qiang Sun, Kean Ming Tan+2 more|arXiv (Cornell University)|Jun 4, 2017

Statistical Methods and Inference参考文献 4被引用 7

一句话总结

本文提出一种用于高维高斯图形模型的图形非凸优化方法，通过一系列凸规划逼近非凸问题，实现了Oracle收敛速率。该方法利用收缩性质迭代优化估计，降低偏差并提升精度，超越图形Lasso，具有理论保证和实证验证，性能更优。

ABSTRACT

We consider the problem of learning high-dimensional Gaussian graphical models. The graphical lasso is one of the most popular methods for estimating Gaussian graphical models. However, it does not achieve the oracle rate of convergence. In this paper, we propose the graphical nonconvex optimization for optimal estimation in Gaussian graphical models, which is then approximated by a sequence of convex programs. Our proposal is computationally tractable and produces an estimator that achieves the oracle rate of convergence. The statistical error introduced by the sequential approximation using the convex programs are clearly demonstrated via a contraction property. The rate of convergence can be further improved using the notion of sparsity pattern. The proposed methodology is then extended to semiparametric graphical models. We show through numerical studies that the proposed estimator outperforms other popular methods for estimating Gaussian graphical models.

研究动机与目标

• 为解决图形Lasso因凸惩罚项导致的估计偏差而引起的次优收敛速率问题。
• 开发一种计算上可行的方法，实现稀疏精度矩阵估计的Oracle收敛速率。
• 克服在高维设定下直接求解非凸惩罚似然问题的计算不可行性。
• 将该方法扩展至半参数图形模型，同时保持最优统计性能。

提出的方法

• 提出使用非凸正则化惩罚的最大似然估计，以减少高维精度矩阵估计中的偏差。
• 通过一系列自适应凸规划逼近非凸问题，提升计算可行性。
• 利用收缩性质确保迭代优化：每一步将误差相对于前一估计器减少至少一半。
• 采用Frobenius范数度量估计误差，并证明误差以因子1/2收缩至Oracle速率√(s/n)。
• 引入基于稀疏模式感知的优化步骤，通过利用已知支撑结构进一步提升收敛速率。
• 应用Bregman散度与矩阵范数不等式，界定估计误差并建立理论一致性。

实验结果

研究问题

• RQ1 非凸正则化是否能在高维高斯图形模型中超越图形Lasso，提升估计精度？
• RQ2 能否通过计算高效的算法实现稀疏精度矩阵估计的Oracle收敛速率？
• RQ3 如何在保持统计最优性的同时，近似最优估计的固有非凸性？
• RQ4 稀疏模式在加速收敛与提升估计精度方面发挥何种作用？
• RQ5 所提方法能否扩展至具有理论保证的半参数图形模型？

主要发现

• 在正则性条件下，所提估计器即使初始估计器性能较差，仍能实现Oracle收敛速率√(s/n)。
• 收缩性质确保每轮迭代将Frobenius范数误差至少减少一半，实现快速收敛。
• 数值实验表明，该方法在高维设定下，尤其在强信号强度下，优于图形Lasso及其他主流方法。
• 理论分析表明，通过序列凸逼近产生的统计误差有界，且随迭代次数增加而减小。
• 利用稀疏模式信息可进一步提升收敛速率，体现对底层图结构的自适应性。
• 该方法被成功扩展至半参数模型，在对分布假设极少的前提下，仍保持最优估计性能。