[論文レビュー] Fast and Guaranteed Tensor Decomposition via Sketching

Yining Wang, Hsiao-Yu Fish Tung+2 more|arXiv (Cornell University)|Jun 14, 2015

Tensor decomposition and applications参考文献 28被引用数 64

ひとこと要約

本論文は、FFTを用いたスケッチ技術を用いて、高次テンソルを明示的に構築せずにテンソル畳み込みを効率的に計算できる、高速でランダム化されたテンソルCP分解アルゴリズムを提案する。この手法は、スパースまたは密度の高いテンソルにおいて、正確な手法と比較して10倍〜100倍の高速化を達成し、スパarsityやエントリの分布に依存しない理論的保証を維持する。

ABSTRACT

Tensor CANDECOMP/PARAFAC (CP) decomposition has wide applications in statistical learning of latent variable models and in data mining. In this paper, we propose fast and randomized tensor CP decomposition algorithms based on sketching. We build on the idea of count sketches, but introduce many novel ideas which are unique to tensors. We develop novel methods for randomized computation of tensor contractions via FFTs, without explicitly forming the tensors. Such tensor contractions are encountered in decomposition methods such as tensor power iterations and alternating least squares. We also design novel colliding hashes for symmetric tensors to further save time in computing the sketches. We then combine these sketching ideas with existing whitening and tensor power iterative techniques to obtain the fastest algorithm on both sparse and dense tensors. The quality of approximation under our method does not depend on properties such as sparsity, uniformity of elements, etc. We apply the method for topic modeling and obtain competitive results.

研究の動機と目的

• 機械学習およびデータマイニングの応用分野における大規模テンソルCP分解における計算ボトルネックを解消すること。
• スパarsityや均一なエントリ分布といった制限付きの仮定に依存する従来手法の限界を克服すること。
• ランダム化スケッチを用いて、スパースおよび密度の高いテンソルの両方に対して高速かつ正確なテンソル分解を実現するフレームワークを開発すること。
• テンソルのスパarsityやエントリ分布といった性質に依存しない、近似品質に関する理論的保証を提供すること。
• 計算複雑性を低減しながら正確性を維持することで、数十億規模のデータセットへの実用的導入を可能にすること。

提案手法

• 各ランク1成分あたりO(n + b log b)時間でテンソルスケッチを計算するために、FFTに基づくカウントスケッチを用いる。ここでnはテンソル次元、bはスケッチ長である。
• 完全なテンソルを明示的に構築せずに、FFTを介して暗黙的にテンソル畳み込みを計算可能にすることで、p次テンソルに対して計算複雑性をO(n^p)からO(n + b log b)に低減する。
• 対称テンソルを効率的に処理し、冗長なFFT演算を削減するため、ブール環の代わりに複素数環Cを用いた新しいコリージングハッシュ関数を導入する。
• スケッチを、既存のテンソル分解手法（例えばテンソルパワー反復法や交互最小二乗法（ALS））と組み合わせることで、高速かつスケーラブルな分解を実現する。
• データサンプルから得られる経験的モーメントテンソルの因数分解形を活用し、全テンソルの構築を回避して直接成分ベクトルからスケッチを計算する。
• 集中不等式とスペクトル解析を用いて、固有値および固有ベクトルにおける近似誤差を境界化することで、理論的安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 スパースおよび密度の高いテンソルに対して、正確性を損なわずにテンソルCP分解を著しく高速化できるか？
• RQ2 スケッチ技術をテンソル畳み込みに適応させ、完全なテンソルの明示的構築を回避し、計算コストを低減できるか？
• RQ3 対称テンソル構造をどのように活用することで、スケッチおよびFFTベースの計算をさらに最適化できるか？
• RQ4 提案手法が、テンソルのスパarsityやエントリ分布に依存せず、近似品質に関する理論的保証を維持するか？
• RQ5 実際の応用において、正確法および既存のランダム化手法を上回り、数十億規模のデータテンソルにスケーリング可能か？

主な発見

• 提案手法は、密度の高い高次元テンソルにおいて、正確なテンソル分解手法と比較して10倍〜100倍の高速化を達成する。
• スパイキーまたは非一様なテンソルに対しても、正確な手法と比較してわずかな性能損失しかなく、高い正確性を維持する。
• トピックモデリングの文脈では、従来のスペクトル的LDA実装と比較して計算時間を顕著に短縮し、時間制約下でコラプスドギブスサンプリングを上回る性能を示す。
• 理論的分析により、固有値および固有ベクトルにおける近似誤差が境界付けられており、テンソルのスパarsityやエントリ分布に依存しないことが示された。
• 複素数環を用いたコリージングハッシュの使用により、同じ漸近的複雑性であるにもかかわらず、冗長なFFT演算が削減され、顕著な実用的高速化が達成された。
• 実験的結果により、本手法が大規模データセット、特に数十億個の学習インスタンスを含む実世界のトピックモデリングタスクに対しても良好にスケーリングすることが確認された。