[论文解读] A Max-Norm Constrained Minimization Approach to 1-Bit Matrix Completion

Tommaso Cai, Wenxin Zhou|arXiv (Cornell University)|Sep 24, 2013

Sparse and Compressive Sensing Techniques参考文献 26被引用 69

一句话总结

本文提出一种在非均匀采样下针对1-bit矩阵补全的极大范数约束最小化方法，通过使用秩的极大范数松弛来提高鲁棒性。在一般噪声和采样模型下，建立了Frobenius范数损失的最优收敛速率，通过信息论下界和浓度不等式证明了极小极大最优性。

ABSTRACT

We consider in this paper the problem of noisy 1-bit matrix completion under a general non-uniform sampling distribution using the max-norm as a convex relaxation for the rank. A max-norm constrained maximum likelihood estimate is introduced and studied. The rate of convergence for the estimate is obtained. Information-theoretical methods are used to establish a minimax lower bound under the general sampling model. The minimax upper and lower bounds together yield the optimal rate of convergence for the Frobenius norm loss. Computational algorithms and numerical performance are also discussed.

研究动机与目标

• 解决在仅可获得低秩矩阵符号观测值的非均匀采样下的1-bit矩阵补全问题。
• 提出一种利用矩阵极大范数作为秩的替代量的凸优化框架，以在某些情形下优于迹范数。
• 在一般噪声和采样分布下，建立Frobenius范数损失的极小极大最优收敛速率。
• 通过上下界理论保证，确认所提估计量的最优性。
• 将结果从均匀采样扩展至非均匀采样，包括无放回采样。

提出的方法

• 引入一种基于极大范数约束的最大似然估计器，作为低秩1-bit矩阵恢复的凸松弛方法。
• 使用矩阵极大范数定义 $\|M\|_{\max} = \min_{M=UV^T} \|U\|_{\infty} \|V\|_{\infty}$ 来正则化秩结构。
• 利用Tropp的结果，通过浓度不等式和谱范数界控制经验风险偏差。
• 推导出 i.i.d. 随机矩阵 $Q_t = \varepsilon_t \frac{e_{i_t}e_{j_t}^T}{\sqrt{\pi_{i_t\cdot}\pi_{\cdot j_t}}}$ 的和的期望谱范数的上界。
• 应用Hoeffding不等式和负相关性，将采样有放回的结果推广至无放回采样。
• 采用信息论方法，在一般采样模型下推导出极小极大下界。

实验结果

研究问题

• RQ1 在非均匀采样下，极大范数是否能为1-bit矩阵补全提供比迹范数更优的凸松弛？
• RQ2 在一般采样和噪声模型下，1-bit矩阵补全的Frobenius范数损失的最优收敛速率是什么？
• RQ3 该极大范数约束估计量在此设定下是否达到极小极大最优性？
• RQ4 与有放回采样相比，无放回采样下理论界的行为如何？
• RQ5 随机噪声（抖动）是否有助于使1-bit矩阵补全问题变得适定？

主要发现

• 所提出的极大范数约束估计量在一般非均匀采样模型下，实现了Frobenius范数损失的最优收敛速率。
• 极小极大下界与上界一致，证实了该估计量的极小极大最优性。
• 以高概率，收敛速率被限制在 $C\alpha\sqrt{r} \left( \sqrt{\mu n \max\{d_1,d_2\} \log d / n} + \mu \sqrt{d_1 d_2} \log d / n \right)$ 以内。
• 结果可扩展至无放回采样，因为通过负相关性得到的浓度界依然有效。
• 理论上，极大范数优于迹范数，并被证明在此情境下是秩的更优凸代理。
• 随机噪声在使1-bit矩阵补全问题适定方面起着关键作用，可防止秩-1矩阵的不可区分性。