[論文レビュー] Fundamental Tensor Operations for Large-Scale Data Analysis in Tensor Train Formats

Namgil Lee, Andrzej Cichocki|arXiv (Cornell University)|May 30, 2014

Tensor decomposition and applications参考文献 38被引用数 25

ひとこと要約

本稿では、テンソルトレイン（TT）形式における拡張された多重線形テンソル演算——例えば、縮約積、部分トレース、一般化されたクリロネッカー積——を導入し、大規模な数値解析を効率的に行うことを可能にする。これらの演算を用いてTT分解を再定式化することで、インデックス記法の簡略化、フレーム行列の正規直交性の証明、局所化された線形写像の明示的表現が可能となり、高次元の連立一次方程式系や固有値問題に対するアルゴリズム設計が著しく向上する。

ABSTRACT

We discuss extended definitions of linear and multilinear operations such as Kronecker, Hadamard, and contracted products, and establish links between them for tensor calculus. Then we introduce effective low-rank tensor approximation techniques including Candecomp/Parafac (CP), Tucker, and tensor train (TT) decompositions with a number of mathematical and graphical representations. We also provide a brief review of mathematical properties of the TT decomposition as a low-rank approximation technique. With the aim of breaking the curse-of-dimensionality in large-scale numerical analysis, we describe basic operations on large-scale vectors, matrices, and high-order tensors represented by TT decomposition. The proposed representations can be used for describing numerical methods based on TT decomposition for solving large-scale optimization problems such as systems of linear equations and symmetric eigenvalue problems.

研究の動機と目的

• テンソルトレイン（TT）形式を用いた効率的な低ランク近似を可能にすることで、高次元テンソル計算における次元の呪いに対処する。
• 複雑なインデックス記法に代わる、座標に依存しない多重線形代数的枠組みをTT分解に開発する。
• TTに基づく表現を用いて、大規模な連立一次方程式系および対称固有値問題に対する実用的な数値アルゴリズムを可能にする。
• 基本的なテンソル演算（例えば、クリロネッカー積、ハダール積、縮約積）とTT分解との間の数学的関係を確立する。
• 交互線形スキーム（ALS）に不可欠な局所化された線形写像およびフレーム行列の明示的で計算可能な表現を提供する。

提案手法

• ブロックテンソルに対して部分的縮約積、部分トレース、部分クリロネッカー積などの一般化されたテンソル演算を導入する。
• コアテンソルを行列化したTTコアを用いてテンソルトレイン分解を定義し、高次元テンソルの低パrametric表現を可能にする。
• 大規模なベクトルおよび行列を、ブロック行列 $\widetilde{\mathbf{X}}^{(n)}$ を用いたベクトル化されたTT分解で表現する。
• すべてのTTコアの積 $\mathbf{X}^{\neq n}$（$n$ 番目のコアを除く）を用いて、TTに基づく行列-ベクトル乗算と二次形式の演算を導出する。
• 縮約積とモード1乗算を用いて、$\mathbf{y} = \mathbf{X}^{\neq n} \mathbf{y}^{(n)}$ のような演算を表現し、効率的な計算を可能にする。
• 座標に依存しない代数的手法を用いて、フレーム行列の正規直交性を証明し、従来のインデックスに基づく証明を置き換える。

実験結果

リサーチクエスチョン

• RQ1 基本的なテンソル演算をどのように一般化すれば、テンソルトレイン形式における効率的計算を可能にするか？
• RQ2 縮約積やクリロネッカー積などの多重線形演算を用いることで、TTに基づく数値アルゴリズムを簡略化・統合できるか？
• RQ3 交互線形スキーム（ALS）におけるフレーム行列の正規直交性を、インデックス記法に代わるテンソル演算を用いて証明できるか？
• RQ4 TT形式における局所化された線形写像 $\widetilde{\underline{\mathbf{A}}}_n$ および $\overline{\underline{\mathbf{A}}}_n$ の明示的表現は何か？
• RQ5 提案されたテンソル演算は、大規模な連立一次方程式系および固有値問題の効率的解法をどのように可能にするか？

主な発見

• 特に縮約積と部分トレースを含む提案されたテンソル演算により、TT分解の座標に依存しない表現が可能となり、複雑なインデックス記法が簡略化される。
• 交互線形スキーム（ALS）に用いられるフレーム行列の正規直交性が、提案された多重線形代数的枠組みを用いて厳密に証明された。
• TTに基づく行列乗算と縮約を用いて、局所化された線形写像 $\widetilde{\underline{\mathbf{A}}}_n$ および $\overline{\underline{\mathbf{A}}}_n$ の明示的表現が導出された。
• すべてのTTコアの積 $\mathbf{X}^{\neq n}$ を用いたTT分解により、大規模なベクトルおよび行列における行列-ベクトル乗算と二次形式の演算が効率的に計算され、計算コストが低減された。
• 二次形式 $\mathbf{x}^{(n)\top} \overline{\mathbf{A}}_n \mathbf{x}^{(n)}$ のテンソルネットワーク図が可視化され、TTコアとコアテンソルの間の接続関係が示された。
• この枠組みにより、高次元問題に対するTTベースのソルバーにおけるアルゴリズムの安定性とランクの適応性が実現され、今後の収束解析の可能性を秘めている。