[论文解读] Discovery of Latent Factors in High-dimensional Data Using Tensor Methods

Furong Huang|arXiv (Cornell University)|Jun 10, 2016

Tensor decomposition and applications参考文献 133被引用 3

一句话总结

本论文提出张量分解方法以在高维数据中发现潜在因子，利用谱方法实现无监督学习。该方法在学习潜在树模型、社区检测以及神经科学应用（如从空间基因表达数据中发现细胞类型）方面展现出全局收敛性和最先进性能。

ABSTRACT

Unsupervised learning aims at the discovery of hidden structure that drives the observations in the real world. It is essential for success in modern machine learning. Latent variable models are versatile in unsupervised learning and have applications in almost every domain. Training latent variable models is challenging due to the non-convexity of the likelihood objective. An alternative method is based on the spectral decomposition of low order moment tensors. This versatile framework is guaranteed to estimate the correct model consistently. My thesis spans both theoretical analysis of tensor decomposition framework and practical implementation of various applications. This thesis presents theoretical results on convergence to globally optimal solution of tensor decomposition using the stochastic gradient descent, despite non-convexity of the objective. This is the first work that gives global convergence guarantees for the stochastic gradient descent on non-convex functions with exponentially many local minima and saddle points. This thesis also presents large-scale deployment of spectral methods carried out on various platforms. Dimensionality reduction techniques such as random projection are incorporated for a highly parallel and scalable tensor decomposition algorithm. We obtain a gain in both accuracies and in running times by several orders of magnitude compared to the state-of-art variational methods. To solve real world problems, more advanced models and learning algorithms are proposed. This thesis discusses generalization of LDA model to mixed membership stochastic block model for learning user communities in social network, convolutional dictionary model for learning word-sequence embeddings, hierarchical tensor decomposition and latent tree structure model for learning disease hierarchy, and spatial point process mixture model for detecting cell types in neuroscience.

研究动机与目标

• 解决在传统方法因复杂性和可扩展性不足而失效的高维数据中隐藏结构的发现挑战。
• 为复杂模型（如潜在树模型和社区检测）开发可扩展且可证明收敛的基于张量的算法，用于无监督学习。
• 通过空间点过程混合模型和张量分解，实现对神经科学中细胞类型和基因表达谱的精确发现。
• 将谱方法扩展至标准矩阵分解之外，以处理数据中的层次结构和不变性结构。
• 提供一个统一框架，通过张量分解学习具有群不变性的模型（如旋转或缩放不变性）

提出的方法

• 以张量分解为核心框架，从高维数据中提取潜在因子，实现全局优化和收敛性保证。
• 将谱方法应用于潜在树模型和多视图模型，利用高阶矩识别潜在结构。
• 采用张量压缩和分布式计算技术降低计算成本，并实现大规模数据集的可扩展性。
• 在空间点过程混合模型中，将变分推理与张量分解相结合，用于神经科学数据建模。
• 利用对称的和基因特异性的狄利克雷先验，提升细胞类型比例和基因表达建模的生物学真实性。
• 开发高效的C++和CUDA实现，用于基于张量的主题建模和社区检测，支持实际部署。

实验结果

研究问题

• RQ1 张量分解方法是否能够可靠且高效地在高维复杂数据中发现潜在因子，并保证可证明收敛？
• RQ2 与现有方法相比，基于张量的方法在医疗健康和神经科学领域中，能否显著提升潜在变量模型学习的准确性？
• RQ3 张量方法在多大程度上能够处理数据中的层次结构和不变性结构（如图形模型或神经网络中的结构）？
• RQ4 张量分解能否用于建模脑组织中的空间分布和基因表达模式，以发现新型细胞类型？
• RQ5 在大规模张量学习中，使用张量压缩和分布式框架时，计算与统计之间的权衡如何？

主要发现

• 所提出的张量分解框架实现了全局收敛性，在潜在树模型和社区检测的学习中优于最先进方法。
• 在神经科学中，与单细胞RNA-seq数据相比，该模型显著提升了基因表达谱的预测准确性，性能优于现有方法。
• 对细胞类型比例使用非均匀狄利克雷先验，对基因使用特异性先验，显著增强了生物学真实性和模型保真度。
• 基于压缩和分布式的张量算法显著降低了计算成本，同时保持了准确性，支持在大规模数据集上的可扩展部署。
• 该框架成功利用艾伦脑图谱的原位杂交数据，发现具有不同空间分布的神经元细胞类型。
• 基于张量的方法在文本、图像、社交网络和医疗健康分析等多种应用中均表现出色，证实了其广泛适用性和鲁棒性。