[論文レビュー] MACH: Fast Randomized Tensor Decompositions

Charalampos E. Tsourakakis|ArXiv.org|Sep 27, 2009

Tensor decomposition and applications参考文献 50被引用数 18

ひとこと要約

MACH は、固定割合（例：p=10%）のテンソルエントリをサンプリングすることで、正確な低ランク近似を達成する高速でランダム化された Tucker テンソル分解のアルゴリズムである。大規模なテンソルにおいて、メモリを超過する場合でも、最大 7.52× の高速化を実現でき、テンソルストリームや事後分析に適している。また、精度に関する理論的保証も備えている。

ABSTRACT

Tensors naturally model many real world processes which generate multi-aspect data. Such processes appear in many different research disciplines, e.g, chemometrics, computer vision, psychometrics and neuroimaging analysis. Tensor decompositions such as the Tucker decomposition are used to analyze multi-aspect data and extract latent factors, which capture the multilinear data structure. Such decompositions are powerful mining tools, for extracting patterns from large data volumes. However, most frequently used algorithms for such decompositions involve the computationally expensive Singular Value Decomposition. In this paper we propose MACH, a new sampling algorithm to compute such decompositions. Our method is of significant practical value for tensor streams, such as environmental monitoring systems, IP traffic matrices over time, where large amounts of data are accumulated and the analysis is computationally intensive but also in "post-mortem" data analysis cases where the tensor does not fit in the available memory. We provide the theoretical analysis of our proposed method, and verify its efficacy in monitoring system applications.

研究の動機と目的

• 大規模なテンソル解析において、特にメモリに収まらない場合やストリーム形式で到着する場合に生じる Tucker 分解の計算ボトル neck を解消すること。
• ランダムサンプリングによりテンソルエントリを処理することで、計算時間を著しく短縮しつつも高い精度を維持する手法を開発すること。
• 固定サンプリング確率 p のもとで、低ランク近似の精度に理論的保証を与えること。
• 完全な SVD が非現実的である、実世界の監視システムやデータマイニングパイプラインへの実用的導入を可能にすること。
• 1 つの、ありきたりに並列可能なアルゴリズムで、ストリーミングおよび事後分析の両方のテンソル解析をサポートすること。

提案手法

• MACH は、各テンソルエントリを固定確率 p で独立にサンプリングし、データのわずかな定数割合のみを保持する。
• サンプルされたエントリを用いて、ランダム化 SVD を用いた交互最小二乗法により低ランク Tucker 分解を計算する。
• 密なテンソルでは、小さなランダムサブセットが主要な多次元線形構造を保持することを活用する。
• アルゴリズムは、コイン投げに基づき各エントリが独立に処理されるため、並列性が極めて明確である。
• 理論的分析では、集中不等式とテンソルノルムを用いて、低ランク近似の誤差を上限で評価する。
• 性能と精度の妥当性を検証するため、実世界の監視データおよび合成テンソルにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 完全なテンソルへのアクセスが不要な固定レートのサンプリング戦略が、正確な Tucker 分解を達成できるか？
• RQ2 大規模な設定において、サンプリング確率 p が Tucker 分解の精度と速度にどのように影響するか？
• RQ3 MACH は、メインメモリに収まらないテンソル、例えばストリーミングや事後分析の文脈でスケーラブルか？
• RQ4 MACH が生成する低ランク近似の理論的誤差バウンドは何か？
• RQ5 実データおよび合成データにおいて、MACH は完全な Tucker 分解と比べて性能と精度で優れているか？

主な発見

• 合成テンソル（500×500×500）において、MACH は完全な Tucker 分解と比較して 7.52× の高速化を達成し、87% の近似精度を達成した。
• 200×200×200 のテンソルにおいて、正確な分解と MACH の分解との主成分間に、相関係数 0.9967、0.9955、0.9964 を観測し、ほぼ完全な一致を示した。
• MACH と正確な分解のコアテンソル値はほぼ同一（18.4856 対 18.4887）であり、最も重要な多次元相互作用が保持されていることを確認した。
• MATLAB が完全なアルゴリズムを用いた場合にメモリ不足を起こす 500×500×500 のテンソルに対しても、MACH は正しく Tucker 分解を計算できた。
• 実際の監視データにおいて、p=10% は優れた結果を示したが、p=5% ではあるデータセットで性能が低下した。これは、定数 p 値が実際の応用において有効である可能性を示している。
• 理論的分析により、テンソル次元と最大エントリ値にやや厳しい条件が課せられる場合を除き、MACH は高い確率で信頼性の高い低ランク近似を提供することが示された。