[论文解读] Double Weighted Truncated Nuclear Norm Regularization for Low-Rank Matrix Completion

Shengke Xue, Wenyuan Qiu+2 more|arXiv (Cornell University)|Jan 7, 2019

Sparse and Compressive Sensing Techniques参考文献 26被引用 11

一句话总结

该论文提出了一种新型矩阵补全方法——双加权截断核范数正则化（DW-TNNR），通过基于观测元素密度为行和列分配特定权重，并采用一步梯度下降更新而非迭代求解器，从而加速收敛。与传统TNNR相比，该方法在收敛速度和对秩估计误差的鲁棒性方面表现更优，在视觉数据集上的实证验证表明其在速度和精度方面均更胜一筹。

ABSTRACT

Matrix completion focuses on recovering a matrix from a small subset of its observed elements, and has already gained cumulative attention in computer vision. Many previous approaches formulate this issue as a low-rank matrix approximation problem. Recently, a truncated nuclear norm has been presented as a surrogate of traditional nuclear norm, for better estimation to the rank of a matrix. The truncated nuclear norm regularization (TNNR) method is applicable in real-world scenarios. However, it is sensitive to the selection of the number of truncated singular values and requires numerous iterations to converge. Hereby, this paper proposes a revised approach called the double weighted truncated nuclear norm regularization (DW-TNNR), which assigns different weights to the rows and columns of a matrix separately, to accelerate the convergence with acceptable performance. The DW-TNNR is more robust to the number of truncated singular values than the TNNR. Instead of the iterative updating scheme in the second step of TNNR, this paper devises an efficient strategy that uses a gradient descent manner in a concise form, with a theoretical guarantee in optimization. Sufficient experiments conducted on real visual data prove that DW-TNNR has promising performance and holds the superiority in both speed and accuracy for matrix completion.

研究动机与目标

• 为解决在低秩矩阵补全中截断核范数正则化（TNNR）存在的收敛缓慢及对秩参数 $ r $ 敏感的问题。
• 通过优先恢复观测元素密度较高的行和列中的缺失条目，加速矩阵补全过程。
• 用闭式梯度下降更新替代TNNR第二步中的迭代子问题求解器，以提升效率。
• 在提升实际性能的同时，确保理论收敛性保证。

提出的方法

• 通过基于各维度中观测条目数量，分别为行和列分配独立权重，引入双重加权机制。
• 在TNNR的第二步中，采用一步梯度下降更新来求解子问题，取代ADMM或APGL等迭代方法。
• 推导出闭式更新规则 $ \mathbf{X}_{k+1} = \mathbf{X}_k - \frac{1}{\alpha_k} \mathbf{P}^{-2}(\mathbf{A}_k^T\mathbf{B}_k - \mathbf{C}_k^T\mathbf{D}_k)\mathbf{Q}^{-2} $，以实现高效优化。
• 采用逐步增加 $ \mu_t $ 的线搜索策略以确保收敛性，并提供局部收敛性的理论证明。
• 将加权方案整合进核范数最小化过程，优先恢复较易恢复的条目。
• 采用缩放策略 $ \alpha_k = \rho \alpha_{k-1} $ 控制停止准则，基于容差 $ \varepsilon $ 确定终止条件。

实验结果

研究问题

• RQ1 行和列特定的加权是否能提升低秩矩阵补全中的收敛速度？
• RQ2 用一步梯度下降更新替代迭代子问题求解是否能保持或提升精度？
• RQ3 所提方法对截断奇异值个数 $ r $ 的选择有多鲁棒？
• RQ4 所提方法能否在保证理论收敛性的同时实现更快收敛？
• RQ5 与TNNR相比，该加权方案是否能在真实视觉数据上提升性能？

主要发现

• DW-TNNR通过采用一步梯度下降更新而非ADMM或APGL等迭代求解器，实现了比TNNR更快的收敛速度。
• 与TNNR相比，该方法对截断奇异值个数 $ r $ 的选择更具鲁棒性。
• 在真实视觉数据上的实验表明，DW-TNNR在重建精度和计算速度方面均优于TNNR。
• 理论分析证实，在适当步长控制下，所提出的梯度下降方案具有局部收敛性。
• 基于 $ \alpha_k $ 和容差 $ \varepsilon $ 的停止准则可确保在有限次迭代内收敛。
• 通过优先恢复观测密度较高的行和列中的缺失条目，该方法显著提升了速度，实现了对较易恢复分量的早期恢复。