[论文解读] Non-Convex Matrix Completion Against a Semi-Random Adversary

Yu Cheng, Rong Ge|arXiv (Cornell University)|Mar 28, 2018

Computability, Logic, AI Algorithms参考文献 37被引用 6

一句话总结

本文研究了在半随机观测模型下非凸矩阵补全的鲁棒性，其中每个条目的观测概率至少为 $ p $，这一设定破坏了现有非凸算法的性能。本文提出一种近乎线性时间的预处理重加权步骤，将输入转换为类似于均匀随机采样的形式，从而确保非凸目标函数的所有局部极小值都能以高概率实现准确的低秩矩阵恢复。

ABSTRACT

Matrix completion is a well-studied problem with many machine learning applications. In practice, the problem is often solved by non-convex optimization algorithms. However, the current theoretical analysis for non-convex algorithms relies heavily on the assumption that every entry is observed with exactly the same probability $p$, which is not realistic in practice. In this paper, we investigate a more realistic semi-random model, where the probability of observing each entry is at least $p$. Even with this mild semi-random perturbation, we can construct counter-examples where existing non-convex algorithms get stuck in bad local optima. In light of the negative results, we propose a pre-processing step that tries to re-weight the semi-random input, so that it becomes "similar" to a random input. We give a nearly-linear time algorithm for this problem, and show that after our pre-processing, all the local minima of the non-convex objective can be used to approximately recover the underlying ground-truth matrix.

研究动机与目标

• 研究非凸矩阵补全算法在每个条目观测概率至少为 $ p $ 的半随机观测模型下是否仍有效，该设定比均匀采样更具现实意义。
• 证明标准非凸算法在受到此类半随机扰动时会失效，因为其可能陷入不良局部极小值。
• 设计一种预处理算法，对观测条目进行重加权，使得重构后的问题在优化景观上等价于均匀随机采样。
• 证明在重加权后，非凸目标函数的所有局部极小值均能近似恢复真实低秩矩阵 $ M^\star $。

提出的方法

• 引入一种半随机模型：首先以概率 $ p $ 均匀采样条目，然后对手可根据 $ M^\star $ 和当前已观测条目集合添加额外观测。
• 提出一种预处理步骤，计算条目特定的权重以重加权观测条目，从而有效将半随机输入转换为在优化景观上类似于均匀随机采样的形式。
• 采用近乎线性时间算法计算重加权矩阵 $ W $，确保计算效率。
• 定义重加权的非凸目标函数 $ \sum_{(i,j)\in\Omega} w_{ij} ( (UV^\top)_{ij} - M^\star_{ij} )^2 $，其中 $ w_{ij} $ 为计算得到的权重。
• 分析重加权目标函数的黑塞矩阵与梯度结构，证明在温和假设下所有局部极小值均接近真实矩阵。
• 利用矩阵集中与扰动界，表明重加权问题继承了类似均匀情况的有利几何特性（例如，不存在不良局部极小值）。

实验结果

研究问题

• RQ1 当观测概率至少为 $ p $ 但不均匀时，标准非凸矩阵补全算法是否仍能恢复真实低秩矩阵？
• RQ2 尽管在均匀采样下已有强大的理论保证，为何现有非凸算法在半随机观测模型下会失效？
• RQ3 是否存在一种预处理变换，可使半随机模型在优化景观上表现得如同均匀模型？
• RQ4 重加权后的问题能否高效求解，同时保持非凸优化的收敛性保证？

主要发现

• 反例表明，当观测概率为半随机（即 $ p_{ij} \geq p $）时，即使对手仅添加条目，标准非凸算法仍可能陷入不良局部极小值。
• 所提出的预处理重加权步骤将半随机输入转换为一种形式，使得非凸目标函数不再存在不良局部极小值，从而确保收敛到良好解。
• 重加权算法运行时间近乎线性，适用于大规模矩阵补全任务。
• 重加权后，非凸目标函数的任意局部极小值 $ (U,V) $ 满足 $ \|UV^\top - M^\star\|_F^2 \leq \epsilon \|M^\star\|_F^2 $，保证了高精度恢复。
• 理论分析依赖于在重加权范数下对黑塞矩阵与梯度项的有界性，表明目标函数的几何结构得以保持。
• 该方法对对手添加的观测具有鲁棒性，只要最小观测概率保持为 $ p $，且重加权能有效补偿非均匀性。