[論文レビュー] Decomposition of Big Tensors With Low Multilinear Rank

Guoxu Zhou, Andrzej Cichocki+1 more|arXiv (Cornell University)|Dec 5, 2014

Tensor decomposition and applications参考文献 11被引用数 38

ひとこと要約

本稿では、Tucker圧縮を活用して低多次元ランクを持つ大きなテンソルの分解をスケーラブルに実現するフレームワークを提案する。CP分解とTucker分解を効率的に行えるようにするため、Tucker圧縮表現を用いた高速CP分解であるFFCPと、分散型でランダム化されたTucker分解であるRandTucker2iを導入し、11.7 GBの5次元動画データ（11.7 GB）のような大規模テンソルにおいて、最小限のフィット損失と数分未満の処理時間で高い精度と効率性を達成した。

ABSTRACT

Tensor decompositions are promising tools for big data analytics as they bring multiple modes and aspects of data to a unified framework, which allows us to discover complex internal structures and correlations of data. Unfortunately most existing approaches are not designed to meet the major challenges posed by big data analytics. This paper attempts to improve the scalability of tensor decompositions and provides two contributions: A flexible and fast algorithm for the CP decomposition (FFCP) of tensors based on their Tucker compression; A distributed randomized Tucker decomposition approach for arbitrarily big tensors but with relatively low multilinear rank. These two algorithms can deal with huge tensors, even if they are dense. Extensive simulations provide empirical evidence of the validity and efficiency of the proposed algorithms.

研究の動機と目的

• ビッグデータ分析における従来のテンソル分解手法のスケーラビリティの限界を解消すること。
• 巨大テンソル上での従来のCPおよびTucker分解の不適切な定式化と計算不能性を克服すること。
• 任意に大きなテンソルに対して低多次元ランクを保ちつつ効率的かつスケーラブルに分解できる統合フレームワークを構築すること。
• 標準的なアルゴリズムのメモリおよび計算限界を超える密度的で高次元のテンソル（例：動画データ）の実用的分解を可能にすること。
• 高い精度を維持しながら計算コストを低減する、耐障害的で分散型のテンソル分解ソリューションを提供すること。

提案手法

• 元の大きなテンソルをTucker分解により圧縮し、次元削減を図りながら多次元構造を保持するコンactテンソルと因子行列の組み合わせを生成する。
• Tucker圧縮されたテンソル上で高速かつ柔軟なCP分解を実行するFFCPアルゴリズムを適用し、処理速度と安定性を向上させる。
• ファイバーまたはエントリをサンプリングすることで、低ランク近似を効率的に構築する分散型ランダム化Tucker分解（RandTucker2i）を実装する。
• 分散環境下でのコアテンソル計算を高速化するために、ランダム化SVDおよびKhatri-Rao積の技術を活用する。
• 画像クラスタリングなどの応用において部分ベースで解釈可能な表現を得るために、FFCPに非負制約を統合する。
• Tucker表現を事前処理として活用し、直接処理が不可能なほど大きなテンソルに対してもスケーラブルなCPおよびTucker分解を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Tucker圧縮は、直接処理が不可能なほど大きなテンソルのスケーラブルかつ正確なCP分解を可能にするか？
• RQ2 大規模テンソルデータにおいて、ランダム化Tucker分解の性能は、決定的手法と比較してフィット度と精度の面でどう異なるか？
• RQ3 分散コンピューティングは、密度的で高次元のテンソル（例：動画データ）を最小限の忠実度損失で効果的に分解できるか？
• RQ4 FFCPアルゴリズムは、標準的なCPD手法と比較して計算時間を大幅に短縮しつつも、高い精度を維持できるか？
• RQ5 提案されたフレームワークは、10億以上のエントリを有する5次元ビデオテンソルのような実世界のビッグデータをどの程度処理できるか？

主な発見

• FFCPアルゴリズムはCOIL-100データセットで71.3%の精度を達成し、標準的なCP-ALSおよびRandTucker2iを上回った。
• RandTucker2iは、1.6×10^9エントリを有する5次元UCF Sports動画テンソル上で104秒で72.3%のフィット度を達成し、密度的で大規模なデータに対してスケーラビリティを示した。
• 3ノードクラスタを用いて1億エントリのテンソルに対してCP分解を7.5秒（非負性ありで7秒）で完了し、高い効率性を示した。
• UCF Sportsデータセットにおいて、A^(5)因子行列からの特徴を用いることで58%のクラスタリング精度を達成し、実用的応用への有効性を検証した。
• ランダム化手法と決定的手法の間で顕著な性能劣化は観察されず、RandTucker2iが大規模問題に対して信頼性があることを確認した。
• CP-ALSが40本の動画処理でメモリ不足に陥る11.7 GBの5次元動画テンソルを、本フレームワークが正常に分解できた。これはスケーラビリティを実証するものである。