[論文レビュー] Tensor Ring Decomposition

Qibin Zhao, Guoxu Zhou+3 more|arXiv (Cornell University)|Jun 17, 2016

Tensor decomposition and applications参考文献 53被引用数 303

ひとこと要約

テンソルリング（TR）分解を導入する。円形で置換不変のテンソルネットワークモデルで、テンソル列車を一般化し、高次テンソルの低ランク近似のための複数の学習アルゴリズムを可能にする。TR-SVD、TR-ALS、適応ランクTR-ALS、ブロック-wise ALSを含み、合成データと実データでの実験を含む。

ABSTRACT

Tensor networks have in recent years emerged as the powerful tools for solving the large-scale optimization problems. One of the most popular tensor network is tensor train (TT) decomposition that acts as the building blocks for the complicated tensor networks. However, the TT decomposition highly depends on permutations of tensor dimensions, due to its strictly sequential multilinear products over latent cores, which leads to difficulties in finding the optimal TT representation. In this paper, we introduce a fundamental tensor decomposition model to represent a large dimensional tensor by a circular multilinear products over a sequence of low dimensional cores, which can be graphically interpreted as a cyclic interconnection of 3rd-order tensors, and thus termed as tensor ring (TR) decomposition. The key advantage of TR model is the circular dimensional permutation invariance which is gained by employing the trace operation and treating the latent cores equivalently. TR model can be viewed as a linear combination of TT decompositions, thus obtaining the powerful and generalized representation abilities. For optimization of latent cores, we present four different algorithms based on the sequential SVDs, ALS scheme, and block-wise ALS techniques. Furthermore, the mathematical properties of TR model are investigated, which shows that the basic multilinear algebra can be performed efficiently by using TR representaions and the classical tensor decompositions can be conveniently transformed into the TR representation. Finally, the experiments on both synthetic signals and real-world datasets were conducted to evaluate the performance of different algorithms.

研究の動機と目的

• TTを超える柔軟でスケーラブルなテンソル分解の必要性を動機づけ、置換性と rigid rank structures に対処する。
• テンソルリング（TR）モデルとその数学的特性を定義する。円形不変性とトレースベースの出力を含む。
• TR表現を学習するための複数のアルゴリズム（TR-SVD、TR-ALS、適応ランクを用いるTR-ALS、およびBALS）を開発・比較する。
• TRが古典的分解（CP、Tucker、TT など）とどのように関連するかを分析し、基礎的性質を証明する。
• 合成データセットおよび実データセットで経験的性能を示す。

提案手法

• TR分解を以下として定義する: T(i1,...,id) = Tr{Z1(i1) Z2(i2) ... Zd(id)}、コア Zi のサイズは ri x ni x r(i+1)。
• トレースを介した円形の次元順序の置換不変性を示し、リング状のコア間接続を可能にする。
• 4つの学習アルゴリズムを提供する: TR-SVD（逐次SVD）による非反復的な低ランク近似; TR-ALS（交互最小二乗法）による固定ランク; TR-ALS with adaptive ranks (ALSAR) 自動ランク成長のため; および Block-wise ALS（BALS）によるブロック結合と切り詰めSVDを用いたランク適応。
• モード-k の展開とサブ連鎖への関係を導出し、コアを最適化するための更新規則を提示する。
• 特定の条件下でTRがTTに簡約される方法と、TR表現を用いた基本的な多元線代数の計算方法について議論する。

実験結果

リサーチクエスチョン

• RQ1 TTの制限を克服するために、テンソルを置換不変で円状に相互接続されたリング構造でどのように表現できるか？
• RQ2 制御可能な精度でTR分解を効率的に計算または近似できる学習アルゴリズムとは何か？
• RQ3 TR-ランクが近似品質にどのように影響し、学習中にランクを自動的に適応させることができるか？
• RQ4 TRは既存の分解（CP、Tucker、TT）とどのように関連し、効率的な計算を可能にする理論的性質は何か？
• RQ5 TRベースの手法は、合成データセットおよび実世界データセットで、従来のテンソル分解と比べて性能は良いか？

主な発見

• TR分解は、高次テンソルを3次元コアの円形連鎖として、これらの積のトレースを用いて表す。
• TRモデルは円形の次元置換不変性を提供し、TT分解の線形結合として見ることができる。
• 4つの学習アルゴリズムが開発されている: TR-SVD、TR-ALS、適応ランクを用いるTR-ALS、そしてBALSは、精度と計算の間でのさまざまなトレードオフを可能にする。
• TR表現は O(d n r^2) 個のパラメータを必要とし、テンソルの次数 d によってスケールする。
• TR-SVD はモード-1の展開と逐次SVDにより、相対誤差を制御可能な非反復近似を提供する。
• 合成データセットおよび実世界データセットでの実験により、提案アルゴリズムを検証している（要約の抜粋には具体的な結果は提供されていない）。