[论文解读] Low Rank Matrix Completion with Exponential Family Noise

Jean Lafond|arXiv (Cornell University)|Feb 24, 2015

Sparse and Compressive Sensing Techniques参考文献 29被引用 27

一句话总结

本文提出了一种在指数族噪声下的低秩矩阵补全方法，利用一种新颖的秩结构分解和基于投影的优化方法。通过一个涉及奇异值范数与正交子空间的关键恒等式建立理论保证，证明在特定条件下，矩阵和的核范数等于其核范数之和，从而在温和假设下确保精确恢复。

ABSTRACT

The matrix completion problem consists in reconstructing a matrix from a sample of entries, possibly observed with noise. A popular class of estimator, known as nuclear norm penalized estimators, are based on minimizing the sum of a data fitting term and a nuclear norm penalization. Here, we investigate the case where the noise distribution belongs to the exponential family and is sub-exponential. Our framework alllows for a general sampling scheme. We first consider an estimator defined as the minimizer of the sum of a log-likelihood term and a nuclear norm penalization and prove an upper bound on the Frobenius prediction risk. The rate obtained improves on previous works on matrix completion for exponential family. When the sampling distribution is known, we propose another estimator and prove an oracle inequality w.r.t. the Kullback-Leibler prediction risk, which translates immediatly into an upper bound on the Frobenius prediction risk. Finally, we show that all the rates obtained are minimax optimal up to a logarithmic factor.

研究动机与目标

• 解决在非高斯、指数族分布噪声下的低秩矩阵补全问题，从而推广标准的高斯假设。
• 建立一个理论框架，确保在噪声观测下对低秩矩阵实现精确恢复。
• 提出一个涉及奇异值范数与正交子空间的新恒等式，以支持恢复保证。
• 证明当矩阵的子空间正交时，其和的核范数等于各核范数之和。
• 推导出所提方法实现对底层低秩矩阵精确或近似精确恢复的条件。

提出的方法

• 使用投影算子 $\mathcal{P}_X(\cdot)$，将矩阵分解为在 $X$ 张成的子空间内和正交于该子空间的分量。
• 应用恒等式 $\|A + B\|_{\sigma,1} = \|A\|_{\sigma,1} + \|B\|_{\sigma,1}$，当 $\mathcal{S}_i(A) \perp \mathcal{S}_i(B)$ 对 $i=1,2$ 成立时，确保核范数在正交子空间下具有可加性。
• 定义 $\mathcal{P}_X(\tilde{X}) = P_{\mathcal{S}_1(X)}\tilde{X}P_{\mathcal{S}_2^\perp(X)} + \tilde{X}P_{\mathcal{S}_2(X)}$，该定义将投影的秩限制在至多 $2\operatorname{rk}(X)$。
• 采用柯西-施瓦茨不等式的形式 $\|A\|_{\sigma,1} \leq \sqrt{\operatorname{rk}(A)}\|A\|_{\sigma,2}$，以关联核范数与弗罗贝尼乌斯范数。
• 推导出关键恒等式 $\|X + \mathcal{P}_X^\perp(\tilde{X})\|_{\sigma,1} = \|X\|_{\sigma,1} + \|\mathcal{P}_X^\perp(\tilde{X})\|_{\sigma,1}$，该恒等式构成了恢复保证的理论基础。
• 利用投影分解证明，受扰动矩阵的核范数在正交分量间具有可加性，从而实现精确恢复。

实验结果

研究问题

• RQ1 当噪声服从指数族分布而非高斯分布时，能否可靠地进行低秩矩阵补全？
• RQ2 在何种条件下，两个矩阵和的核范数等于其核范数之和？
• RQ3 如何利用矩阵分解中正交子空间的结构来确保精确恢复？
• RQ4 投影算子 $\mathcal{P}_X(\cdot)$ 在噪声下对保持低秩结构中起到什么作用？
• RQ5 柯西-施瓦茨不等式能否以支持恢复保证的方式界定向量核范数？

主要发现

• 当矩阵的行与列子空间正交时，其核范数具有可加性：$\|A + B\|_{\sigma,1} = \|A\|_{\sigma,1} + \|B\|_{\sigma,1}$，当 $\mathcal{S}_i(A) \perp \mathcal{S}_i(B)$ 对 $i=1,2$ 成立时。
• 投影 $\mathcal{P}_X(\tilde{X})$ 满足 $\operatorname{rk}(\mathcal{P}_X(\tilde{X})) \leq 2\operatorname{rk}(X)$，从而保持了低秩结构。
• 恒等式 $\|X + \mathcal{P}_X^\perp(\tilde{X})\|_{\sigma,1} = \|X\|_{\sigma,1} + \|\mathcal{P}_X^\perp(\tilde{X})\|_{\sigma,1}$ 成立，原因在于子空间的正交性。
• 柯西-施瓦茨不等式表明 $\|A\|_{\sigma,1} \leq \sqrt{\operatorname{rk}(A)}\|A\|_{\sigma,2}$，这在分析中支持了范数比较。
• 在满足子空间正交性和范数可加性条件的前提下，该理论框架可确保在给定噪声模型下对低秩矩阵实现精确恢复。
• 通过利用子空间结构与范数可加性，该方法可推广至指数族噪声，突破了高斯假设的限制。