[论文解读] Nice latent variable models have log-rank.

Madeleine Udell, Alex Townsend|arXiv (Cornell University)|May 21, 2017

Statistical Methods and Inference被引用 15

一句话总结

本文通过证明基于分段解析函数的潜在变量模型本质上会产生对数秩矩阵，解释了为何低秩矩阵在大数据中普遍存在。它展示了这类矩阵可被低秩结构近似，为推荐系统和基因组学等应用中广泛使用低秩近似提供了理论基础。

ABSTRACT

Matrices of low rank are pervasive in big data, appearing in recommender systems, movie preferences, topic models, medical records, and genomics. While there is a vast literature on how to exploit low rank structure in these datasets, there is less attention on explaining why the low rank structure appears in the first place. We explain the abundance of low rank matrices in big data by proving that certain latent variable models associated to piecewise analytic functions are of log-rank. A large matrix from such a latent variable model can be approximated, up to a small error, by a low rank matrix.

研究动机与目标

• 解释低秩矩阵在大数据应用中普遍存在的根本原因。
• 研究导致矩阵呈现低秩行为的潜在变量模型的结构特性。
• 建立潜在变量模型中分段解析函数与对数秩矩阵近似的理论联系。
• 为低秩近似在基因组学和推荐系统等实际数据集中的有效性提供正式依据。

提出的方法

• 本文分析了观测矩阵条目由潜在变量函数生成的潜在变量模型。
• 重点研究了分段解析函数，该类函数包括统计学和机器学习中许多常见模型。
• 理论分析表明，此类模型生成的矩阵其秩随矩阵规模对数增长。
• 本文利用分析与矩阵理论工具，界定了所得矩阵的有效秩。
• 证明了这些模型生成的大矩阵可被低秩矩阵以小误差近似。
• 推导依赖于底层函数的光滑性与分段解析性质，以控制矩阵的复杂度。

实验结果

研究问题

• RQ1 为何低秩矩阵在推荐系统和基因组学等真实世界的大数据应用中频繁出现？
• RQ2 潜在变量模型的何种结构特性导致其生成矩阵呈现低秩行为？
• RQ3 底层函数的解析性如何影响生成矩阵的秩？
• RQ4 此类模型生成的大矩阵在多大程度上可被低秩矩阵近似？
• RQ5 能否从潜在变量模型函数形式的假设中正式推导出对数秩行为？

主要发现

• 基于分段解析函数的潜在变量模型会产生对数秩矩阵，解释了大数据中低秩结构的普遍性。
• 所得矩阵的秩随矩阵规模对数增长，表明其适合低秩近似。
• 这些模型生成的大矩阵可使用低秩表示以小误差近似。
• 该理论框架为协同过滤和主题建模等应用中低秩方法的实证成功提供了依据。
• 研究结果为即使数据生成过程并非显式低秩，低秩近似仍有效的现象提供了正式基础。
• 该发现适用于广泛模型类别，包括基因组学、医疗记录和推荐系统中使用的模型。