[論文レビュー] Tensor Networks for Big Data Analytics and Large-Scale Optimization Problems

Andrzej Cichocki|arXiv (Cornell University)|Jul 11, 2014

Tensor decomposition and applications参考文献 93被引用数 45

ひとこと要約

本論文は、特にテンソルトレイン（TT）および量子化テンソルトレイン（QTT）分解を用いて、ビッグデータ分析における大規模最適化問題をスケーラブルに解くフレームワークを提案する。高次元データを低ランクテンソルネットワークに変換することで、小規模な行列と反復的結合を用いた計算が可能となり、超圧縮と、そうでなければ非効率な問題に対する取り扱い可能な解法を実現する。

ABSTRACT

In this paper we review basic and emerging models and associated algorithms for large-scale tensor networks, especially Tensor Train (TT) decompositions using novel mathematical and graphical representations. We discus the concept of tensorization (i.e., creating very high-order tensors from lower-order original data) and super compression of data achieved via quantized tensor train (QTT) networks. The purpose of a tensorization and quantization is to achieve, via low-rank tensor approximations "super" compression, and meaningful, compact representation of structured data. The main objective of this paper is to show how tensor networks can be used to solve a wide class of big data optimization problems (that are far from tractable by classical numerical methods) by applying tensorization and performing all operations using relatively small size matrices and tensors and applying iteratively optimized and approximative tensor contractions. Keywords: Tensor networks, tensor train (TT) decompositions, matrix product states (MPS), matrix product operators (MPO), basic tensor operations, tensorization, distributed representation od data optimization problems for very large-scale problems: generalized eigenvalue decomposition (GEVD), PCA/SVD, canonical correlation analysis (CCA).

研究の動機と目的

• ビッグデータのボリューム、多様性、速度、信頼性という特徴を考慮した古典的数値手法の限界を克服すること。
• 従来のアプローチでは計算的に非効率である大規模最適化問題をスケーラブルに処理できるフレームワークを構築すること。
• テンソル化と低ランク近似を用いて、神経画像、時系列、スペクトログラムなどのマルチモーダルで高次元なデータを効率的に処理すること。
• 次元削減、欠損データ処理、ノイズに強い性能を実現する分散的で階層的な表現としてテンソルネットワークを導入すること。
• TT分解を用いてグローバルな大規模問題を局所的で取り扱い可能な部分問題に変換する統一的計算パラダイムを提供すること。

提案手法

• 低順位のデータ（例：行列、ベクトル）を高次元テンソルに変換するテンソル化を適用し、多次元構造を活用すること。
• テンソルトレイン（TT）分解を用いて、テンソルを低次元コアテンソルの系列として表現し、圧縮と効率的計算を実現すること。
• 特に構造的で高次元な配列に対して効果的な、超圧縮に適した量子化テンソルトレイン（QTT）ネットワークを実装すること。
• すべての演算（例：結合、SVD、一般化固有値分解）を、小規模な行列を用いたTT形式内で実行すること。
• コア間の複雑なマルチリニア演算と結合を可視化・管理するために、テンソルネットワーク図を活用すること。
• ALS、DMRG、およびCUR/クロス近似といった反復的アルゴリズムを用いて、低ランク制約下でのTT分解と最適化を実行すること。

実験結果

リサーチクエスチョン

• RQ1 テンソルネットワークは、マスな高次元データを効果的に圧縮・表現可能であり、本質的な構造的・統計的性質を保持できるか？
• RQ2 TT/QTT分解は、非効率な大規模最適化問題を、取り扱い可能な局所的部分問題にどれほど効果的に変換できるか？
• RQ3 テンソルネットワーク手法は、神経科学やバイオインフォマティクスを含む多様な科学分野において、ノイズ多きく欠損のある、マルチモーダルなデータをどのように処理できるか？
• RQ4 近似精度やTTランク制約の変動に対して、TTベースの最適化アルゴリズムの収束性と安定性はどのように変化するか？
• RQ5 テンソルネットワークモデルは、分子構造などの複雑なシステムを意味のある物理的解釈とともに統合するために、どのように拡張可能か？

主な発見

• テンソルトレイン（TT）分解は、計算複雑性を低減しつつ高い精度を維持する大規模データの効果的圧縮を可能にする。
• 量子化テンソルトレイン（QTT）ネットワークは超圧縮を実現し、そうでなければペタバイト単位のメモリを要するデータの効率的保存・処理を可能にする。
• このフレームワークにより、グローバル最適化問題が、標準的な数値手法で解ける一連の局所的・低次元部分問題に変換される。
• テンソルネットワークは欠損値やノイズの多いデータに対しても頑健に処理でき、信頼性の高い大規模データに適した実世界の課題に対応可能である。
• このアプローチは、PCA/SVD、CCA、一般化固有値分解（GEVD）など、多様性と次元の高さが著しい状況下でも適用可能であり、広範な問題に適用可能である。
• 進展は見られるが、TTランクの適応制御、ランクの爆発防止、TTアルゴリズムの事前誤差境界と収束保証の開発といった課題は依然として残っている。