[论文解读] Mixture Matrix Completion

Daniel Pimentel-Alarcón|arXiv (Cornell University)|Aug 2, 2018

Remote-Sensing Image Classification被引用 6

一句话总结

本文提出混合矩阵补全（Mixture Matrix Completion, MMC），一种新框架，其中数据矩阵的每个条目均来自多个低秩矩阵之一，推广了传统的低秩与高秩矩阵补全方法。该研究建立了理论基础，包括可识别性条件、样本复杂度，并提出一种实用的交替算法，在合成数据与真实世界数据上均实现了最先进性能。

ABSTRACT

Completing a data matrix X has become an ubiquitous problem in modern data science, with applications in recommender systems, computer vision, and networks inference, to name a few. One typical assumption is that X is low-rank. A more general model assumes that each column of X corresponds to one of several low-rank matrices. This paper generalizes these models to what we call mixture matrix completion (MMC): the case where each entry of X corresponds to one of several low-rank matrices. MMC is a more accurate model for recommender systems, and brings more flexibility to other completion and clustering problems. We make four fundamental contributions about this new model. First, we show that MMC is theoretically possible (well-posed). Second, we give its precise information-theoretic identifiability conditions. Third, we derive the sample complexity of MMC. Finally, we give a practical algorithm for MMC with performance comparable to the state-of-the-art for simpler related problems, both on synthetic and real data.

研究动机与目标

• 为解决现有矩阵补全模型（特别是低秩矩阵补全（LRMC）与高秩矩阵补全（HRMC））的局限性，通过将条目而非整列视为属于不同低秩子空间，实现更精细的建模。
• 为现实世界数据提供更精确的表示，其中用户可能共享账户，或数据源自多个潜在结构（例如，视频前景/背景、混合微生物DNA）。
• 为MMC建立理论基础，包括适定性、可识别性与样本复杂度，在确定性采样下无需一致假设。
• 开发一种实用且可扩展的MMC算法，在LRMC与HRMC等简化问题上性能可媲美最先进方法。
• 展示MMC在推荐系统、网络推断、视频分割与宏基因组学等多样化领域的适用性。

提出的方法

• 提出一种新模型，其中观测矩阵X的每个条目与K个低秩矩阵之一关联，而非整列，从而实现对异质数据结构的更细粒度建模。
• 引入组合分析，推导出在何种信息论可识别性条件下，可从观测条目中唯一恢复底层低秩矩阵。
• 推导出MMC的样本复杂度为O(K/d * max{r, log d})，高概率下成立，表明与LRMC或HRMC相比，混合矩阵的理论代价可忽略不计。
• 开发一种实用的交替算法用于MMC，通过在估计低秩分量与将条目分配至正确分量之间交替进行，结合核范数最小化与稀疏编码原理。
• 采用非均匀采样模型，避免了先前工作中常见的相干性假设，转而依赖于确定性采样模式以实现可识别性。
• 在合成数据与来自视频分割、宏基因组学与推荐系统的实际数据集上验证方法，结果表明在LRMC与HRMC任务上性能可媲美最先进算法。

实验结果

研究问题

• RQ1 矩阵补全能否超越按列或按矩阵的分配方式，推广至条目级分配至多个低秩分量？
• RQ2 在何种确定性采样条件下，K个低秩矩阵的混合可被唯一识别？
• RQ3 MMC框架中成功恢复底层低秩矩阵所需的样本复杂度是多少？
• RQ4 能否设计一种实用算法，使MMC在性能上可媲美简化问题（如LRMC与HRMC）的最先进方法？
• RQ5 MMC在视频分割与宏基因组分析等真实世界应用中如何优于现有模型？

主要发现

• MMC在一般条件下具有理论适定性，即在适当的采样模式下，可唯一恢复底层低秩矩阵。
• 论文建立了MMC的精确信息论可识别性条件，推广了LRMC与HRMC的先前结果，并表明即使在LRMC或HRMC下采样可识别，也不能保证可识别性。
• MMC的样本复杂度为O(K/d * max{r, log d})，高概率下成立，与HRMC的样本复杂度一致；当K=1时，退化为O(1/d * max{r, log d})，对应LRMC的已知样本复杂度。
• 所提出的MMC交替算法在LRMC与HRMC任务上性能可媲美最先进方法，尽管MMC本身是更复杂的问题。
• 在合成数据与真实数据（包括视频分割与宏基因组学）上的实证评估表明，MMC在具有结构化、非稀疏前景或混合生物信号的场景中优于标准模型。
• 在视频修复与人脸聚类等应用中，MMC比现有方法更准确，其中前景物体相关且非稀疏；在宏基因组学中，DNA测序读段源自多种细菌类型。