[論文レビュー] Era of Big Data Processing: A New Approach via Tensor Networks and Tensor Decompositions

Andrzej Cichocki|arXiv (Cornell University)|Mar 9, 2014

Tensor decomposition and applications参考文献 86被引用数 211

ひとこと要約

本論文は、低ランク近似を活用して効率的な圧縮、次元削減、分散処理を可能にするスケーラブルなフレームワークとして、テンソルネットワーク（TNs）とテンソル分解（TDs）を提案する。主な貢献は、神経科学、機械学習、信号処理の応用分野において、高多様性、高速度、高信頼性のデータに隠れた構造を抽出するための統一的な数学的基盤を提供することにある。

ABSTRACT

Many problems in computational neuroscience, neuroinformatics, pattern/image recognition, signal processing and machine learning generate massive amounts of multidimensional data with multiple aspects and high dimensionality. Tensors (i.e., multi-way arrays) provide often a natural and compact representation for such massive multidimensional data via suitable low-rank approximations. Big data analytics require novel technologies to efficiently process huge datasets within tolerable elapsed times. Such a new emerging technology for multidimensional big data is a multiway analysis via tensor networks (TNs) and tensor decompositions (TDs) which represent tensors by sets of factor (component) matrices and lower-order (core) tensors. Dynamic tensor analysis allows us to discover meaningful hidden structures of complex data and to perform generalizations by capturing multi-linear and multi-aspect relationships. We will discuss some fundamental TN models, their mathematical and graphical descriptions and associated learning algorithms for large-scale TDs and TNs, with many potential applications including: Anomaly detection, feature extraction, classification, cluster analysis, data fusion and integration, pattern recognition, predictive modeling, regression, time series analysis and multiway component analysis. Keywords: Large-scale HOSVD, Tensor decompositions, CPD, Tucker models, Hierarchical Tucker (HT) decomposition, low-rank tensor approximations (LRA), Tensorization/Quantization, tensor train (TT/QTT) - Matrix Product States (MPS), Matrix Product Operator (MPO), DMRG, Strong Kronecker Product (SKP).

研究の動機と目的

• 計算神経科学および機械学習分野における、高ボリューム、高速度、高多様性、高信頼性の特徴を有するビッグデータの課題に対処すること。
• マルチアスペクト、マルチモーダル、高次元データを扱う際の従来の行列ベースの手法の限界を克服すること。
• 大規模テンソルネットワークおよび分解のためのスケーラブルで分散処理可能なアルゴリズムを開発し、リアルタイムまたはニアリアルタイム処理を可能にすること。
• 低ランクテンソル近似技術を用いて、ノイズ多きく、不完全または欠損のあるデータの分析を強靭にすること。
• ブランチソース分離と2方向成分分析を一般化し、マルチウェイ成分分析（MWCA）にまで拡張する統一フレームワークを構築すること。

提案手法

• 高次テンソルを相互接続された低次元テンソルで表現するテンソルネットワーク（TNs）を用い、分散および並列計算を可能にする。
• データ圧縮と構造の発見のため、コアナル・ポリアドック分解（CPD）、タッカー、テンソルトレイン（TT）、階層的タッカー（HT）形式を用いた低ランクテンソル近似（LRA）を適用する。
• 大規模な行列やテンソルを高次元テンソルネットワーク形式に変換するためのテンソル化と量子化（QTT）を実装し、効率的な保存および計算を実現する。
• スパatio-時系列的およびスペクトル的データにおける複雑な依存関係をモデル化するため、行列積状態（MPS）および行列積作用素（MPO）を活用する。
• 計算を数十億個の非ゼロ要素を有するテンソルにスケーリングするため、マップリダスおよび分割統治のパラダイムを統合する。
• 最適化のための反復的アルゴリズムとして、交互最小二乗法（ALS）、MALS、DMRGをTNおよびTDフレームワークで用いる。

実験結果

リサーチクエスチョン

• RQ1 テンソルネットワークと分解は、高ボリュームかつ高多様性を特徴とする多次元ビッグデータを、どのように効果的に圧縮・分析できるか？
• RQ2 リアルタイムまたはニアリアルタイム処理を想定した、大規模テンソルを処理するための、最もスケーラブルでフェイルセーフな計算フレームワークは何か？
• RQ3 低ランクテンソル近似は、ノイズ多きく、不完全または欠損のあるデータにおいて、意味のある隠れた構造をどのように保持できるか？
• RQ4 物理的に解釈可能な潜在変数の抽出を可能にするテンソルネットワークコアの制約は何か？
• RQ5 共有成分と固有成分を併せ持つ複数ブロック・マルチモーダルデータをモデル化・分析するため、結合テンソルネットワークはどのように利用できるか？

主な発見

• テンソルネットワークは、低ランク因子行列とコアテンソルを用いて構造的で大規模なデータを『スーパー』圧縮可能であり、ストレージおよび計算コストを顕著に削減する。
• TT/QTTおよびHT形式は、テラバイト、さらにはペタバイト規模のデータを扱うテンソルにおいて、効率的な計算を可能にし、分散処理およびフェイルセーフ処理を支援する。
• 低ランクテンソル近似は、ノイズ多きく、不完全または欠損のあるデータに対しても効果的に機能し、神経科学および信号処理分野の実世界応用において強靭性を発揮する。
• テンソルネットワークは、従来の2方向成分分析およびブランチソース分離を一般化し、複数のデータモードにまたがる多次元線形関係の発見を可能にする。
• テンソル化と量子化の統合により、大規模な行列をテンソルネットワーク形式に変換可能となり、固有値解析や大規模線形方程式系の解法に対するスケーラブルな解決策が得られる。
• 共有成分を有する結合テンソルネットワークは、複数の被験者やモダリティにまたがる複雑なデータ統合タスク（例：神経画像および行動データ統合）をモデル化可能である。