[论文解读] A Proximal Approach for a Class of Matrix Optimization Problems

Alessandro Benfenati, Émilie Chouzenoux+1 more|arXiv (Cornell University)|Jan 23, 2018

Sparse and Compressive Sensing Techniques参考文献 56被引用 5

一句话总结

该论文提出了一种基于Douglas-Rachford分裂法的近端算法，用于求解涉及Bregman散度和谱正则化的矩阵优化问题。通过结合主要化-最小化（majorization-minimization）与近端算子，该方法在噪声环境下实现了稳健的精度矩阵估计，显著优于当前最先进的方法，在重建精度和支撑恢复方面表现突出，尤其是在高噪声条件下。

ABSTRACT

In recent years, there has been a growing interest in mathematical models leading to the minimization, in a symmetric matrix space, of a Bregman divergence coupled with a regularization term. We address problems of this type within a general framework where the regularization term is split in two parts, one being a spectral function while the other is arbitrary. A Douglas-Rachford approach is proposed to address such problems and a list of proximity operators is provided allowing us to consider various choices for the fit-to-data functional and for the regularization term. Numerical experiments show the validity of this approach for solving convex optimization problems encountered in the context of sparse covariance matrix estimation. Based on our theoretical results, an algorithm is also proposed for noisy graphical lasso where a precision matrix has to be estimated in the presence of noise. The nonconvexity of the resulting objective function is dealt with a majorization-minimization approach, i.e. by building a sequence of convex surrogates and solving the inner optimization subproblems via the aforementioned Douglas-Rachford procedure. We establish conditions for the convergence of this iterative scheme and we illustrate its good numerical performance with respect to state-of-the-art approaches.

研究动机与目标

• 开发一个灵活且通用的框架，用于求解对称矩阵空间中涉及Bregman散度和谱正则化的矩阵优化问题。
• 通过构建考虑观测噪声的非凸优化问题，解决噪声环境下精度矩阵估计的挑战。
• 设计一种基于主要化-最小化（MM）的迭代算法，确保在噪声存在时的收敛性和鲁棒性。
• 为广泛范围的谱正则化和非谱正则化函数提供显式近端算子，实现高效实现。
• 在噪声水平不断提高的情况下，展示所提方法在重建误差和假阳性率方面优于现有方法。

提出的方法

• 将问题表述为关于谱函数 $ f $ 的Bregman散度最小化，加上谱正则化 $ g_0 $ 和一般正则化 $ g_1 $ 的和。
• 应用Douglas-Rachford分裂法求解所得的凸子问题，利用为 $ f $、$ g_0 $ 和 $ g_1 $ 各种组合推导出的近端算子。
• 对于非凸形式，采用主要化-最小化（MM）策略，其中每个代理问题通过固定参数 $ \gamma_\ell = 1 $、$ \alpha_{\ell,k} = 1 $ 的Douglas-Rachford过程求解。
• 当 $ g_0(\mathbf{C}) = \mu_0 \mathcal{R}_1(\mathbf{C}^{-1}) $ 时，$ g_0 $ 的近端算子通过求解四次多项式以获得唯一正根来计算。
• 算法使用相对差值停止准则控制内层和外层循环，最大迭代次数分别为2000和20，内层循环容忍度为 $ 10^{-10} $。
• 该框架扩展至复Hermite矩阵，所有结果在该设置下仅需极少修改即可适用。

实验结果

研究问题

• RQ1 能否为涉及Bregman散度和混合谱/非谱正则化的矩阵优化问题，开发一个统一的近端框架？
• RQ2 Douglas-Rachford分裂法如何被有效应用于求解此类具有显式近端算子的矩阵优化问题？
• RQ3 能否通过使用凸子问题的MM方法，高效且稳健地求解噪声图形Lasso问题的非凸形式？
• RQ4 与当前最先进的方法相比，所提算法在噪声水平不断提高时，其重建精度和支撑恢复性能如何？
• RQ5 在噪声精度矩阵估计背景下，基于MM的迭代方案在何种条件下收敛到有意义的解？

主要发现

• 所提出的基于MM的算法在均方根误差（rmse）方面显著优于经典GLASSO和无噪声感知的DR方法，尤其在噪声方差增大时表现更优。
• 该方法在假阳性率（fpr）方面表现优异，展示了在精度矩阵支撑恢复中对噪声的强鲁棒性。
• 对于一个合成数据集（$ n = 100 $，$ p = 10^{-3} $ 稀疏度，条件数为0.125），在八个不同噪声水平下，该方法在重建质量上表现最佳。
• 在所提出的停止准则下，MM算法的收敛性得到保证，外层迭代在目标函数值的相对差值低于 $ 10^{-8} $ 时终止。
• 非谱部分 $ g_1 = \mu_1 \|\cdot\|_1 $ 的近端算子通过软阈值化高效计算，而谱部分 $ g_0 $ 则需求解四次方程以获得正根。
• 所有理论结果均可推广至复Hermite矩阵，确保该方法在实对称矩阵之外也具有广泛适用性。