[论文解读] Schatten-$p$ Quasi-Norm Regularized Matrix Optimization via Iterative Reweighted Singular Value Minimization

Zhaosong Lu, Yong Zhang|arXiv (Cornell University)|Jan 5, 2014

Sparse and Compressive Sensing Techniques参考文献 42被引用 12

一句话总结

本文提出了一种用于Schatten-$p$准范数正则化矩阵优化的迭代重加权奇异值最小化（IRSVM）方法，利用子问题的闭式解并提出一种新颖的收敛性分析，避免了显式计算Clarke次微分。研究证明所有局部极小值点均为一阶平稳点，并证明了序列收敛于此类点，计算结果表明其在性能上优于现有最先进方法。

ABSTRACT

In this paper we study general Schatten-$p$ quasi-norm (SPQN) regularized matrix minimization problems. In particular, we first introduce a class of first-order stationary points for them, and show that the first-order stationary points introduced in [11] for an SPQN regularized $vector$ minimization problem are equivalent to those of an SPQN regularized $matrix$ minimization reformulation. We also show that any local minimizer of the SPQN regularized matrix minimization problems must be a first-order stationary point. Moreover, we derive lower bounds for nonzero singular values of the first-order stationary points and hence also of the local minimizers of the SPQN regularized matrix minimization problems. The iterative reweighted singular value minimization (IRSVM) methods are then proposed to solve these problems, whose subproblems are shown to have a closed-form solution. In contrast to the analogous methods for the SPQN regularized $vector$ minimization problems, the convergence analysis of these methods is significantly more challenging. We develop a novel approach to establishing the convergence of these methods, which makes use of the expression of a specific solution of their subproblems and avoids the intricate issue of finding the explicit expression for the Clarke subdifferential of the objective of their subproblems. In particular, we show that any accumulation point of the sequence generated by the IRSVM methods is a first-order stationary point of the problems. Our computational results demonstrate that the IRSVM methods generally outperform some recently developed state-of-the-art methods in terms of solution quality and/or speed.

研究动机与目标

• 为解决Schatten-$p$准范数正则化矩阵最小化问题的挑战，此类问题为非凸且难以优化。
• 定义并分析基于矩阵的SPQN问题的一阶平稳点，确保其与基于向量的公式一致。
• 开发一种具有闭式子问题解的迭代重加权奇异值最小化（IRSVM）算法，以实现高效计算。
• 在子问题次微分复杂的情况下，建立IRSVM方法收敛于一阶平稳点的理论保证。
• 通过实证表明，IRSVM在解的质量和计算速度方面优于现有最先进方法。

提出的方法

• 为Schatten-$p$准范数正则化矩阵最小化问题提出一类一阶平稳点。
• 推导一阶平稳点和局部极小值点的非零奇异值的下界。
• 提出IRSVM算法，其中每个子问题通过奇异值软阈值法以闭式求解。
• 提出一种新颖的收敛性分析，依赖于子问题解的显式结构，避免了计算Clarke次微分的需要。
• 利用特定子问题解的表达式，证明IRSVM序列的任意聚点均为一阶平稳点。
• 应用重加权策略以迭代方式优化奇异值，促进低秩解的生成。

实验结果

研究问题

• RQ1 Schatten-$p$准范数正则化矩阵最小化问题的一阶平稳点如何定义？其与基于向量的公式有何关联？
• RQ2 当子问题次微分计算不可行时，如何建立迭代重加权方法在矩阵SPQN问题上的收敛性？
• RQ3 能否为一阶平稳点和局部极小值点的非零奇异值推导出下界？
• RQ4 具有闭式子问题解的IRSVM方法是否能在解的质量和速度上优于现有最先进方法？
• RQ5 子问题解的何种结构特性使得无需显式表达Clarke次微分即可实现新颖的收敛性证明？

主要发现

• Schatten-$p$准范数正则化矩阵最小化问题的所有局部极小值点均为一阶平稳点。
• 矩阵问题的一阶平稳点与相应向量重构公式的解等价。
• 一阶平稳点和局部极小值点的非零奇异值被一个依赖于问题参数的正数下界所限制。
• IRSVM方法生成的序列，其任意聚点均保证为一阶平稳点。
• 收敛性分析通过利用子问题解的闭式结构，避免了显式计算Clarke次微分。
• 计算结果表明，IRSVM方法在解的质量和计算速度方面均优于近期最先进方法。