[论文解读] Introduction to Tensor Decompositions and their Applications in Machine Learning

Stephan Rabanser, Oleksandr Shchur+1 more|arXiv (Cornell University)|Nov 29, 2017

Tensor decomposition and applications参考文献 25被引用 160

一句话总结

本文综述张量概念、分解（CPD 和 Tucker）、它们的数学性质、算法以及在机器学习中的应用，包括对混合模型和主题模型的案例研究。

ABSTRACT

Tensors are multidimensional arrays of numerical values and therefore generalize matrices to multiple dimensions. While tensors first emerged in the psychometrics community in the $20^{ ext{th}}$ century, they have since then spread to numerous other disciplines, including machine learning. Tensors and their decompositions are especially beneficial in unsupervised learning settings, but are gaining popularity in other sub-disciplines like temporal and multi-relational data analysis, too. The scope of this paper is to give a broad overview of tensors, their decompositions, and how they are used in machine learning. As part of this, we are going to introduce basic tensor concepts, discuss why tensors can be considered more rigid than matrices with respect to the uniqueness of their decomposition, explain the most important factorization algorithms and their properties, provide concrete examples of tensor decomposition applications in machine learning, conduct a case study on tensor-based estimation of mixture models, talk about the current state of research, and provide references to available software libraries.

研究动机与目标

• 在机器学习和无监督学习环境中激励使用张量。
• 介绍基本的张量概念、记号，以及张量在可辨识性方面相较于矩阵的优势。
• 呈现并对比 CPD（CANDECOMP/PARAFAC）和 Tucker 分解及其性质。
• 解释关键的张量算法（Jennrich、ALS、Tensor Power Method）及其收敛性/唯一性方面。
• 展示用于球面高斯混合模型和主题模型的具体张量基参数估计方法。
• 提供关于现有张量软件库的指南并概述未解的研究问题。

提出的方法

• 介绍张量基础：阶数、记号、秩，以及张量运算（外积/内积、mode-n 乘积）。
• 定义并解释秩-1 张量以及将张量分解为秩-1 分量之和的 CPD（CPD/CP-ALS）框架。
• 给出 Tensor Power Method 在因子相同且正交性的特殊情形下的应用。
• 讨论通过 Kruskal 秩和张量特有的秩性质来确保 CPD 的唯一性条件。
• 将 Tucker 分解描述为带核心张量和因子矩阵的高阶 PCA，包括 Higher-Order SVD (HOSVD)。
• 概述 CPD 和 Tucker 分解的算法及其在潜在参数估计、子空间估计和压缩中的适用性。

实验结果

研究问题

• RQ1 张量分解如何为多路数据在机器学习中提供唯一、可辨识的表示？
• RQ2 用于计算 CPD 和 Tucker 分解的实际算法有哪些，以及在什么条件下它们会收敛或产生唯一解？
• RQ3 如何利用低阶张量矩来进行高斯混合模型和主题模型等概率模型的参数估计？
• RQ4 在无监督学习和多关系数据分析中，张量分解的计算权衡与应用有哪些？

主要发现

• 张量将矩阵推广到更高维，并在比矩阵分解更宽松的条件下提供更强的可辨识性。
• CPD 与 Tucker 是两种核心张量分解；CPD 更适合潜在参数估计，Tucker 更偏向子空间估计和压缩。
• 对 CPD（Jennrich、ALS、Tensor Power Method）讨论了若干实用算法，并关注诸如秩、独立性和正交性等假设。
• 张量通过分解为因子矩阵来提取数据的低维结构，在 Tucker 中，核心张量捕捉交互。
• 一个案例研究展示了基于张量的参数估计，针对球面高斯混合模型和主题模型，利用低阶矩的信息。
• 本文引用了软件库并强调张量分析与应用中的未解研究问题。