[论文解读] Scalable Computation of Regularized Precision Matrices via Stochastic Optimization

Yves F. Atchadé, Rahul Mazumder+1 more|arXiv (Cornell University)|Sep 1, 2015

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出了一种用于弹性-net正则化下可扩展计算正则化精度矩阵的随机近端优化框架，通过从多元正态分布中采样随机样本，避免了昂贵的矩阵求逆操作。该方法在大规模、非稀疏问题上实现了计算效率与收敛性保证，计算速度显著优于确定性方法，同时保持了解决方案的准确性。

ABSTRACT

We consider the problem of computing a positive definite $p imes p$ inverse covariance matrix aka precision matrix $θ=(θ_{ij})$ which optimizes a regularized Gaussian maximum likelihood problem, with the elastic-net regularizer $\sum_{i,j=1}^{p} λ(α|θ_{ij}| + \frac{1}{2}(1- α) θ_{ij}^2),$ with regularization parameters $α\in [0,1]$ and $λ>0$. The associated convex semidefinite optimization problem is notoriously difficult to scale to large problems and has demanded significant attention over the past several years. We propose a new algorithmic framework based on stochastic proximal optimization (on the primal problem) that can be used to obtain near optimal solutions with substantial computational savings over deterministic algorithms. A key challenge of our work stems from the fact that the optimization problem being investigated does not satisfy the usual assumptions required by stochastic gradient methods. Our proposal has (a) computational guarantees and (b) scales well to large problems, even if the solution is not too sparse; thereby, enhancing the scope of regularized maximum likelihood problems to many large-scale problems of contemporary interest. An important aspect of our proposal is to bypass the \emph{deterministic} computation of a matrix inverse by drawing random samples from a suitable multivariate Gaussian distribution.

研究动机与目标

• 解决使用确定性方法求解大规模正则化精度矩阵估计问题时存在的计算瓶颈。
• 开发一种可扩展的算法，确保在高维、非稀疏精度矩阵下保持准确性与收敛性。
• 通过从多元正量分布中采样，避免在随机优化中进行昂贵的矩阵求逆操作。
• 为在标准假设不成立的设定下，随机近端方法提供理论计算保证。
• 将正则化最大似然估计的适用范围扩展至现代统计学与机器学习中的大规模问题。

提出的方法

• 在原始问题上使用随机近端梯度下降法，以优化正则化对数似然目标函数。
• 用从多元正态分布中采样的方法替代确定性矩阵求逆，以估计精度矩阵的逆协方差项。
• 利用从 N(0, θ⁻¹) 独立同分布采样得到的随机近似 Hessian 与梯度，实现可扩展的更新。
• 提出一种新颖的收敛性分析框架，能够处理随机优化中的非独立同分布采样与非标准假设。
• 采用两步更新策略：先执行随机梯度步骤，再通过近端阈值化操作施加弹性-net惩罚。
• 使用递减步长，并在较弱的正则性条件下确保迭代序列以几乎必然收敛到最优解。

实验结果

研究问题

• RQ1 当标准收敛性假设不成立时，随机优化能否有效应用于正则化精度矩阵估计？
• RQ2 在不牺牲解的准确性前提下，如何在大规模精度矩阵计算中避免矩阵求逆？
• RQ3 在该非标准设定下，可为随机近端方法建立哪些计算与理论保证？
• RQ4 所提出的方法在密集精度矩阵的高维问题上具有多大程度的可扩展性？
• RQ5 在计算速度与解的质量方面，该随机算法相较于确定性求解器表现如何？

主要发现

• 所提出的随机算法相比确定性方法实现了显著的计算节省，同时获得接近最优的解。
• 即使在标准随机梯度方法的假设被违反的情况下，该方法仍提供了理论收敛保证。
• 通过用多元正态分布的随机采样替代矩阵求逆，该算法避免了计算成本高昂的操作，从而实现了可扩展性。
• 该算法能有效扩展至大规模问题，即使真实精度矩阵并非稀疏，从而拓宽了正则化估计的应用范围。
• 实验结果表明，该随机方法在大规模数据集上收敛速度优于确定性求解器，同时保持了解的准确性。
• 该方法在高维场景下具有鲁棒性，适用于 n 与 p 均较大的情况，因此适用于现代数据科学应用。