[论文解读] Max-Norm Optimization for Robust Matrix Recovery

Ethan X. Fang, Han Liu+2 more|arXiv (Cornell University)|Sep 24, 2016

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出了一种混合核范数与最大范数正则化的优化方法，用于在任意非均匀采样方案下实现鲁棒的低秩矩阵恢复。通过结合最大范数正则化以处理非均匀采样，以及核范数正则化以促进低秩结构，该方法实现了快速的收敛速率，并通过一种新颖的ADMM算法实现了高效的计算，在实际的非均匀设置下显著优于标准核范数方法。

ABSTRACT

This paper studies the matrix completion problem under arbitrary sampling schemes. We propose a new estimator incorporating both max-norm and nuclear-norm regularization, based on which we can conduct efficient low-rank matrix recovery using a random subset of entries observed with additive noise under general non-uniform and unknown sampling distributions. This method significantly relaxes the uniform sampling assumption imposed for the widely used nuclear-norm penalized approach, and makes low-rank matrix recovery feasible in more practical settings. Theoretically, we prove that the proposed estimator achieves fast rates of convergence under different settings. Computationally, we propose an alternating direction method of multipliers algorithm to efficiently compute the estimator, which bridges a gap between theory and practice of machine learning methods with max-norm regularization. Further, we provide thorough numerical studies to evaluate the proposed method using both simulated and real datasets.

研究动机与目标

• 为解决核范数正则化在协同过滤等实际应用中常见的非均匀采样场景下进行矩阵补全时的局限性。
• 开发一种鲁棒的矩阵恢复方法，即使在采样非均匀或未知的情况下仍保持有效性，从而放宽对均匀采样的严格假设。
• 通过设计具有收敛性保证的可扩展算法，弥合最大范数正则化的理论优势与实际计算可行性之间的差距。
• 通过在合成数据集和真实数据集上的实证验证，证明所提方法在性能上优于核范数与最大范数基线方法。

提出的方法

• 提出一种结合核范数与最大范数正则化的混合优化估计器，以在促进低秩结构与增强对非均匀采样的鲁棒性之间实现平衡。
• 采用约束优化框架：在残差误差的Frobenius范数约束下，最小化核范数与最大范数之和。
• 设计一种增广拉格朗日乘子法（ADMM）算法，以高效计算该估计器，并具备可证明的收敛性保证。
• 在X更新步骤中引入基于Schur补的子问题求解方法，通过特征值分解实现可扩展的计算。
• 采用自适应调优参数，对最大范数与核范数项进行校准，基于实验中观测到的数据范数。
• 将该方法应用于模拟数据集与真实数据集，包括Jester、Movie-100K与Movie-1M数据集，以评估性能表现。

实验结果

研究问题

• RQ1 与标准核范数方法相比，结合最大范数与核范数的混合正则化方法是否能在非均匀采样下提升矩阵恢复性能？
• RQ2 所提出的ADMM算法是否能在大规模矩阵补全问题中实现快速收敛与可扩展性？
• RQ3 在真实世界数据集上，该混合方法在误差与计算时间方面与纯核范数和最大范数方法相比表现如何？
• RQ4 在一般采样分布下，该估计器的理论收敛速率可建立为何种形式？

主要发现

• 所提出的混合估计器在非均匀采样下实现了比基于核范数的方法更快的收敛速率，并具备理论保证。
• 在Jester笑话数据集上，当采样率为15%时，混合方法的归一化平均绝对误差（NMAE）为0.197，优于核范数方法（0.210）与最大范数基线（0.194）。
• 在包含2000名用户的Movie-1M数据集中，采样率为25%时，混合方法的NMAE为0.206，而核范数方法为0.230，最大范数方法为0.206，计算耗时为946.3秒，表现合理。
• ADMM算法表现出稳定的收敛性与可扩展性，即使在大规模数据集（如包含2000名用户的Movie-1M）上，运行时间也仅适度增加。
• 在真实世界协同过滤数据集上的验证表明，该方法在非均匀采样场景下显著优于核范数正则化方法。
• 该混合方法在不同采样率与矩阵规模下均保持了优异的性能，展现出强大的鲁棒性与适应性。