[论文解读] Iterative Reweighted Singular Value Minimization Methods for $l_p$ Regularized Unconstrained Matrix Minimization

Zhaosong Lu, Yong Zhang|arXiv (Cornell University)|Jan 5, 2014

Advanced Optimization Algorithms Research被引用 3

一句话总结

该论文提出了用于求解 $l_p$ 正则化无约束矩阵最小化问题的迭代重加权奇异值最小化（IRSVM）和非单调邻近梯度（NPG）方法。证明了所有局部极小值点均为一阶稳定点，推导出这些点的非零奇异值的下界，并证明了两种算法的全局收敛性，实验表明 IRSVM 在速度和解的质量方面表现更优。

ABSTRACT

In this paper we study general lp regularized unconstrained matrix minimization problems. In particular, we first introduce a class of first-order stationary points for them. And we show that the first-order stationary points introduced in [11] for an lp regularized vector minimization problem are equivalent to those of an lp regularized ma-trix minimization reformulation. We also establish that any local minimizer of the lp regularized matrix minimization problems must be a first-order stationary point. More-over, we derive lower bounds for nonzero singular values of the first-order stationary points and hence also of the local minimizers for the lp matrix minimization problems. The iterative reweighted singular value minimization (IRSVM) approaches are then pro-posed to solve these problems in which each subproblem has a closed-form solution. We show that any accumulation point of the sequence generated by these methods is a first-order stationary point of the problems. In addition, we study a nonmontone proximal gradient (NPG) method for solving the lp matrix minimization problems and establish its global convergence. Our computational results demonstrate that the IRSVM and NPG methods generally outperform some existing state-of-the-art methods in terms of solution quality and/or speed. Moreover, the IRSVM methods are slightly faster than the NPG method. Key words: lp regularized matrix minimization, iterative reweighted singular value min-imization, iterative reweighted least squares, nonmonotone proximal gradient method

研究动机与目标

• 分析 $l_p$ 正则化无约束矩阵最小化问题中的一阶稳定点。
• 证明 $l_p$ 矩阵最小化问题的局部极小值点必为一阶稳定点。
• 推导一阶稳定点和局部极小值点的非零奇异值的下界。
• 设计具有闭式解子问题的迭代重加权奇异值最小化（IRSVM）方法。
• 提出并分析一种用于同一类问题的非单调邻近梯度（NPG）方法，具有全局收敛性保证。

提出的方法

• 引入一类 $l_p$ 正则化矩阵最小化问题的一阶稳定点，将其与基于向量的公式中的等价点联系起来。
• 推导一阶稳定点和局部极小值点的非零奇异值的理论下界。
• 提出 IRSVM 方法，其中每个子问题通过奇异值的迭代重加权以闭式求解。
• 在 NPG 方法中采用非单调线搜索策略，以增强收敛鲁棒性。
• 在 NPG 子问题中引入邻近项，以稳定迭代并确保收敛。
• 证明 IRSVM 和 NPG 迭代序列的任意聚点均为原问题的一阶稳定点。

实验结果

研究问题

• RQ1 $l_p$ 正则化无约束矩阵最小化问题中的一阶稳定点具有何种特征？
• RQ2 一阶稳定点和局部极小值点的奇异值行为如何，能否推导出下界？
• RQ3 能否设计出具有闭式解和全局收敛性的迭代重加权奇异值最小化（IRSVM）方法？
• RQ4 非单调邻近梯度（NPG）方法能否实现 $l_p$ 矩阵最小化的全局收敛？
• RQ5 IRSVM 和 NPG 方法在解的质量和计算速度方面与现有最先进方法相比如何？

主要发现

• $l_p$ 正则化矩阵最小化问题的所有局部极小值点都是一阶稳定点。
• 一阶稳定点和局部极小值点的非零奇异值被一个依赖于问题参数的正数下界所限制。
• IRSVM 方法生成的迭代序列的聚点为一阶稳定点，且每个子问题均可闭式求解。
• NPG 方法即使不要求目标函数单调下降，也能全局收敛至一阶稳定点。
• 计算结果表明，IRSVM 和 NPG 在解的质量和速度方面均优于现有最先进方法。
• IRSVM 方法在保持相当或更优解精度的同时，略快于 NPG 方法。