[论文解读] Exponential Family Matrix Completion under Structural Constraints

Suriya Gunasekar, Pradeep Ravikumar+1 more|arXiv (Cornell University)|Sep 15, 2015

Sparse and Compressive Sensing Techniques参考文献 31被引用 30

一句话总结

该论文提出了一种统一的凸M-估计器，用于在指数族分布和一般结构约束下进行矩阵补全，通过可分解范数正则化实现。该工作首次建立了针对异构数据类型（如二值、计数、连续型）和复杂结构（如低秩、稀疏或叠加结构）的统一统计保证，证明了在样本复杂度 $ O(rn/log n) $ 下的一致恢复，其中 $ r $ 为秩，$ n $ 为矩阵维度。

ABSTRACT

We consider the matrix completion problem of recovering a structured matrix from noisy and partial measurements. Recent works have proposed tractable estimators with strong statistical guarantees for the case where the underlying matrix is low--rank, and the measurements consist of a subset, either of the exact individual entries, or of the entries perturbed by additive Gaussian noise, which is thus implicitly suited for thin--tailed continuous data. Arguably, common applications of matrix completion require estimators for (a) heterogeneous data--types, such as skewed--continuous, count, binary, etc., (b) for heterogeneous noise models (beyond Gaussian), which capture varied uncertainty in the measurements, and (c) heterogeneous structural constraints beyond low--rank, such as block--sparsity, or a superposition structure of low--rank plus elementwise sparseness, among others. In this paper, we provide a vastly unified framework for generalized matrix completion by considering a matrix completion setting wherein the matrix entries are sampled from any member of the rich family of exponential family distributions; and impose general structural constraints on the underlying matrix, as captured by a general regularizer $\mathcal{R}(.)$. We propose a simple convex regularized $M$--estimator for the generalized framework, and provide a unified and novel statistical analysis for this general class of estimators. We finally corroborate our theoretical results on simulated datasets.

研究动机与目标

• 解决在伯努利、泊松或高斯等非高斯、异构噪声模型下的矩阵补全缺乏统计保证的问题。
• 通过可分解范数正则化，将矩阵补全从低秩约束推广到一般结构约束。
• 通过指数族建模，统一分析不同数据类型（偏态连续型、二值型、计数型）下的矩阵补全。
• 提出一个统一的凸M-估计器框架，推广现有核范数和稀疏估计方法。
• 在一般采样机制和结构假设下，建立有限样本的统计误差界。

提出的方法

• 将矩阵补全建模为一个凸正则化M-估计问题，其中观测条目被建模为来自指数族分布的独立同分布样本，其自然参数矩阵为 $ heta^* $。
• 通过可分解范数正则化器 $ ho( heta) $ 对 $ heta^* $ 施加结构约束，推广低秩（核范数）、稀疏或结构化稀疏惩罚。
• 提出一个正则化M-估计器：$ heta^{ ext{est}} = ext{argmin}_{ heta} rac{1}{|igOmega|} ext{tr}( heta) + ho( heta) $，其中 $ ext{tr}( heta) $ 是指数族下的负对数似然。
• 利用对数似然的二阶泰勒展开，推导出散度 $ B_G( heta, heta^*) $ 的二次逼近，从而实现对估计误差的分析。
• 在对数似然的Hessian矩阵上建立受限强凸性（RSC）条件，表明 $ B_G( heta, heta^*) riangleq ext{tr}(G( heta) - G( heta^*)) - ext{tr}(G'( heta^*)( heta - heta^*)) riangleq rac{1}{2} heta^T H heta $，在温和假设下满足 $ H riangleright u ext{Id} $。
• 证明在 $ |igOmega| = igOmega(r n ext{log} n) $ 样本下，估计器在Frobenius范数下的误差为 $ igOig( rac{r n ext{log} n}{|igOmega|} ig) $，且以高概率成立。

实验结果

研究问题

• RQ1 矩阵补全估计器能否从高斯噪声推广到任意指数族分布（如伯努利、泊松、高斯）以处理异构数据类型？
• RQ2 矩阵补全的理论保证能否扩展到超越低秩的通用结构约束，如块稀疏或低秩加稀疏结构？
• RQ3 是否存在一个统一的凸M-估计器框架，能够同时处理异构数据模型和复杂结构先验，并具备有限样本统计一致性？
• RQ4 在该广义框架下，一致恢复所需的样本复杂度是多少？其与矩阵大小和秩的缩放关系如何？
• RQ5 在一般指数族模型和可分解正则化器下，能否建立损失函数的受限强凸性？

主要发现

• 所提出的M-估计器在 $ |igOmega| = igOmega(r n ext{log} n) $ 时，以高概率一致恢复底层参数矩阵 $ heta^* $，其样本复杂度与高斯噪声下的已知界一致。
• Frobenius范数下的估计误差呈 $ igOig( rac{r n ext{log} n}{|igOmega|} ig) $ 的缩放关系，证实样本复杂度在对数因子内达到最优。
• 在模拟数据上的实证结果表明，误差随样本量增加而衰减，且在归一化样本量 $ |igOmega| / (r n ext{log} n) $ 下，不同矩阵尺寸的误差曲线对齐，验证了理论收敛速率。
• 该框架成功处理了三种不同数据类型——高斯（连续型）、伯努利（二值型）和二项分布（计数型），并在所有类型上均表现出一致性能，证实其广泛适用性。
• 在自然参数空间和对数似然Hessian矩阵的温和假设下，受限强凸性条件成立，从而支持紧致的误差界。
• 该分析可推广至任意可分解范数正则化器，包括核范数、$ igell_1 $ 和混合范数惩罚，为结构化矩阵估计建立了统一的理论基础。