[論文レビュー] Introduction to Tensor Decompositions and their Applications in Machine Learning

Stephan Rabanser, Oleksandr Shchur+1 more|arXiv (Cornell University)|Nov 29, 2017

Tensor decomposition and applications参考文献 25被引用数 160

ひとこと要約

本論文はテンソル概念、分解 (CPD と Tucker)、それらの数学的性質、アルゴリズム、および機械学習への応用を概観し、混合モデルおよびトピックモデルのケーススタディを含む。

ABSTRACT

Tensors are multidimensional arrays of numerical values and therefore generalize matrices to multiple dimensions. While tensors first emerged in the psychometrics community in the $20^{ ext{th}}$ century, they have since then spread to numerous other disciplines, including machine learning. Tensors and their decompositions are especially beneficial in unsupervised learning settings, but are gaining popularity in other sub-disciplines like temporal and multi-relational data analysis, too. The scope of this paper is to give a broad overview of tensors, their decompositions, and how they are used in machine learning. As part of this, we are going to introduce basic tensor concepts, discuss why tensors can be considered more rigid than matrices with respect to the uniqueness of their decomposition, explain the most important factorization algorithms and their properties, provide concrete examples of tensor decomposition applications in machine learning, conduct a case study on tensor-based estimation of mixture models, talk about the current state of research, and provide references to available software libraries.

研究の動機と目的

• 機械学習および教師なし学習設定におけるテンソルの利用を動機付ける。
• 基本的なテンソル概念、記法を導入し、テンソルが行列よりも識別性を強く提供する方法を説明する。
• CPD（CANDECOMP/PARAFAC）と Tucker 分解を提示・対比し、それらの特性を論じる。
• 主要なテンソルアルゴリズム（Jennrich、ALS、Tensor Power Method）とそれらの収束性/一意性の側面を説明する。
• 球状ガウス混合モデル（spherical GMM）およびトピックモデルのテンソルベースのパラメータ推定手法を具体的に示す。
• 利用可能なテンソルソフトウェアライブラリのガイダンスを提供し、未解決の研究課題を概説する。

提案手法

• テンソルの基礎: 次数、記法、階数、テンソル演算（外積/内積、モード-n積）を紹介する。
• ランク-1テンソルを定義し、1つの和として分解する CPD（CPD/CP-ALS）フレームワークを説明する。
• 同一係数で直交性を持つ特殊ケースの Tensor Power Method を提示する。
• Kruskalランクとテンソル特有の階数特性を用いた CPD の一意性条件を論じる。
• コアテンソルと因子行列を持つ高次元PCAとしての Tucker分解を、Higher-Order SVD（HOSVD）を含めて説明する。
• CPDと Tucker 分解のアルゴリズムの概要と、潜在パラメータ推定、部分空間推定、圧縮への適用性を概説する。

実験結果

リサーチクエスチョン

• RQ1 テンソル分解は機械学習における多方向データに対してどのように一意で識別可能な表現を提供できるか？
• RQ2 CPDと Tucker 分解を計算する実践的なアルゴリズムは何か、どの条件下で収束または一意解を与えるか？
• RQ3 低次のテンソルモーメントをガウス混合モデルやトピックモデルなどの確率モデルのパラメータ推定にどのように活用できるか？
• RQ4 教師なし学習および多関係データ分析におけるテンソル分解の計算上のトレードオフと応用は何か？

主な発見

• テンソルは行列を高次元へ一般化し、行列分解より穏やかな条件でより強い識別性を提供する。
• CPDと Tucker は二つの中心的なテンソル分解であり、CPD は潜在パラメータ推定に適し、Tucker は部分空間推定と圧縮に適している。
• CPD（ Jennrich、ALS、Tensor Power Method ）の実践的アルゴリズムがいくつか取り上げられ、階数、独立性、直交性などの仮定に注意が払われている。
• テンソルは因子行列への分解を介してデータから低次元構造を抽出することを可能にし、Tucker では相互作用を捉えるコアテンソルがある。
• ケーススタディでは、低次モーメントの情報を用いて球状ガウス混合モデルおよびトピックモデルのテンソルベースのパラメータ推定を示している。
• 本論文はソフトウェアライブラリを参照し、テンソル解析と応用における未解決の研究課題を強調している。