[论文解读] Harmonic Mean Iteratively Reweighted Least Squares for Low-Rank Matrix Recovery

Christian Kümmerle, Juliane Sigl|arXiv (Cornell University)|Mar 15, 2017

Sparse and Compressive Sensing Techniques参考文献 54被引用 18

一句话总结

该论文提出了一种新型的迭代重加权最小二乘法——调和平均 IRLS（HM-IRLS），用于从不完整的线性观测中恢复低秩矩阵。通过使用基于调和平均的权重矩阵来最小化非凸的 Schatten-$p$ 伪范数（$0 < p < 1$），HM-IRLS 在远少于现有最先进方法所需测量数的情况下实现了近乎完美的恢复，并在零空间性质条件下表现出局部超线性收敛，且在其他方法失效的困难情况下，经验上观察到全局收敛。

ABSTRACT

We propose a new iteratively reweighted least squares (IRLS) algorithm for the recovery of a matrix $X \in \mathbb{C}^{d_1 imes d_2}$ of rank $r \ll\min(d_1,d_2)$ from incomplete linear observations, solving a sequence of low complexity linear problems. The easily implementable algorithm, which we call harmonic mean iteratively reweighted least squares (HM-IRLS), optimizes a non-convex Schatten-$p$ quasi-norm penalization to promote low-rankness and carries three major strengths, in particular for the matrix completion setting. First, we observe a remarkable global convergence behavior of the algorithm's iterates to the low-rank matrix for relevant, interesting cases, for which any other state-of-the-art optimization approach fails the recovery. Secondly, HM-IRLS exhibits an empirical recovery probability close to $1$ even for a number of measurements very close to the theoretical lower bound $r (d_1 +d_2 -r)$, i.e., already for significantly fewer linear observations than any other tractable approach in the literature. Thirdly, HM-IRLS exhibits a locally superlinear rate of convergence (of order $2-p$) if the linear observations fulfill a suitable null space property. While for the first two properties we have so far only strong empirical evidence, we prove the third property as our main theoretical result.

研究动机与目标

• 解决如核范数最小化等凸松弛方法的局限性，这些方法需要过度采样，且在大规模问题上计算成本高昂。
• 提升经验恢复性能，将测量需求降低至低秩矩阵恢复的理论下限以下。
• 开发一种具有强全局收敛行为和局部快速收敛速率的非凸优化方法。
• 提出一种新颖的调和平均加权方案，以增强在 Schatten-$p$ 最小化中迭代重加权最小二乘法的稳定性和收敛性。

提出的方法

• 该算法通过从迭代值的奇异值分解中导出的基于调和平均的权重矩阵，求解一系列加权最小二乘问题。
• 通过涉及矩阵变量 $X$、辅助变量 $Z$ 和正则化参数 $\epsilon$ 的交替最小化方案，最小化 Schatten-$p$ 伪范数（$0 < p < 1$）。
• 权重矩阵被定义为左奇异值和右奇异值相关权重矩阵的调和平均，确保对行空间和列空间的对称处理。
• 该方法采用延续策略，逐步减小 $\epsilon$，以逼近非凸的 Schatten-$p$ 范数并避免病态条件。
• 通过代理泛函 $\mathcal{J}_p(X, \epsilon, Z)$ 分析收敛性，该泛函单调递减且有下界，从而保证迭代序列收敛。
• 理论分析表明，在零空间性质条件下，HM-IRLS 具有阶数为 $2-p$ 的局部超线性收敛速率，且在困难恢复情形中经验上观察到全局收敛。

实验结果

研究问题

• RQ1 非凸 IRLS 算法是否能在现有最先进凸与非凸方法均失效的情况下，实现对真实低秩解的全局收敛？
• RQ2 基于调和平均的权重是否能提升经验恢复性能，并将所需测量数降低至信息论下限以下？
• RQ3 在标准零空间条件下，所提出的 HM-IRLS 算法的局部收敛速率如何？
• RQ4 与 IRLS 中的标准列重加权或行重加权策略相比，调和平均加权策略在低秩矩阵恢复中的表现如何？

主要发现

• 即使测量数非常接近理论下限 $r(d_1 + d_2 - r)$，HM-IRLS 仍能实现接近 1 的经验恢复概率，显著优于其他可行方法。
• 在现有最先进优化方法无法恢复真实低秩矩阵的困难情形中，该算法表现出卓越的全局收敛行为。
• 在零空间性质条件下，HM-IRLS 展现出阶数为 $2 - p$ 的局部超线性收敛速率，其收敛速度优于线性收敛，且随 $p$ 减小而提升。
• 理论分析证明，HM-IRLS 生成的迭代序列在代理泛函 $\mathcal{J}_p$ 上单调递减，从而保证收敛至临界点。
• 调和平均权重矩阵的构建方式确保了对行空间和列空间的对称处理，避免了仅对列或行进行重加权策略固有的偏差。
• 该算法易于实现，且在每次迭代中仅需求解低复杂度的线性系统，因此在大规模问题上具有计算高效性。