[論文レビュー] Faster Tensor Train Decomposition for Sparse Data

Lingjie Li, Wenjian Yu+1 more|arXiv (Cornell University)|Aug 7, 2019

Tensor decomposition and applications参考文献 29被引用数 6

ひとこと要約

本稿では、大規模なスパーステンソル向けに最適化された新しいテンソルトレース（TT）分解アルゴリズム、FastTTを提案する。Exact TT構築と効率的な並列ベクトルラウンドリング、見直されたTTラウンドリングを組み合わせることで、TT-SVD やランダム化TT-SVDと比較して、最大240倍の高速化を達成しながら、精度と低いTTランクを維持し、従来では不可能だった大規模なスパーステンソル分解を可能にする。

ABSTRACT

In recent years, the application of tensors has become more widespread in fields that involve data analytics and numerical computation. Due to the explosive growth of data, low-rank tensor decompositions have become a powerful tool to harness the notorious curse of dimensionality. The main forms of tensor decomposition include CP decomposition, Tucker decomposition, tensor train (TT) decomposition, etc. Each of the existing TT decomposition algorithms, including the TT-SVD and randomized TT-SVD, is successful in the field, but neither can both accurately and efficiently decompose large-scale sparse tensors. Based on previous research, this paper proposes a new quasi-best fast TT decomposition algorithm for large-scale sparse tensors with proven correctness and the upper bound of its complexity is derived. In numerical experiments, we verify that the proposed algorithm can decompose sparse tensors faster than the TT-SVD, and have more speed, precision and versatility than randomized TT-SVD, and it can be used to decomposes arbitrary high-dimensional tensor without losing efficiency when the number of non-zero elements is limited. The new algorithm implements a large-scale sparse matrix TT decomposition that was previously unachievable, enabling tensor decomposition based algorithms to be applied in larger-scale scenarios.

研究の動機と目的

• 大規模なスパーステンソルを処理する際、既存のTT分解アルゴリズム（例：TT-SVD）の非効率さと高いメモリ使用量を是正すること。
• 不正確なSVD近似による精度損失を受けるランダム化TT-SVDの限界を克服すること。
• スパースデータの処理において、低いTTランクと高い精度を維持しながら、実行時間を著しく短縮する手法を開発すること。
• テンソルの次元数に依存せず、非ゼロ要素の数のみが制限要因となる高次元スパーステンソルのTT分解を可能にすること。
• 数値線形代数および機械学習分野への応用拡大を目的に、行列からTT（MPO）形式への変換をサポートすること。

提案手法

• 非ゼロのファイバーを用いて初期分解段階で正確性を保持する、正確なTT表現の構築。
• スパarsityと並列性を活用することで、TTラウンドリング処理を高速化する並列ベクトルラウンドリング技術の実装。
• 精度とランク削減のバランスを最適化するために、動的パラメータを調整する見直されたTTラウンドリングアルゴリズム（アルゴリズム8）の導入。
• 入力のスパarsityと所望の誤差境界に基づき、自動的にトレントレーションしきい値をチューニングする動的パrameter選択戦略の活用。
• ラウンドング段階で、精度を損なわずに速度を向上させるために、ランダム化SVDに類似したサンプリングを制御的に適用。
• 線形代数および量子系応用への拡張を目的に、行列を行列積演算子（MPO）形式に変換する機能のサポート。

実験結果

リサーチクエスチョン

• RQ1 大規模なスパーステンソル上で、著しい高速化を達成しながらも高い精度を維持できるTT分解アルゴリズムを設計可能か？
• RQ2 TT-SVDのスパース設定下での計算ボトルネックを、TTランクの増加や精度の低下を伴わず克服できるか？
• RQ3 動的パrameter選択戦略が、多様なスパースデータに対してTT分解の性能とロバストネスをどの程度向上できるか？
• RQ4 提案手法は、非ゼロ要素が限られた高次元テンソル（例：10^4次元）に対しても効率的にスケーリング可能か？
• RQ5 最新の手法（ランダム化TT-SVD や TT-cross）と比較して、新しいアルゴリズムの精度と効率性はどの程度か？

主な発見

• 画像／動画補填タスクにおいて、FastTTはTT-SVDと同等のTTランクと相対誤差を維持しながら、最大9.6倍の高速化を達成した。
• 線形方程式系の解法において、FastTTはTT-SVDと同等の精度とTTランクを維持しながら、240倍の高速化を達成した。
• スパースデータ処理において、FastTTはTT-SVD比35倍の高速化を達成し、実際の相対誤差は常に目標ε以下に保たれた。
• FastTT+における見直されたTTラウンドング（アルゴリズム8）は、εが大きい場合、標準的なFastTTと比較してより低いTTランクを生成したが、わずかに高い誤差を伴うことが示された。これは、ランク効率の向上を示している。
• アルゴリズムの性能はテンソルの次元数ではなく、非ゼロ要素の数に依存するため、高次元スパーステンソルのスケーラブルな分解が可能となった。
• 理論的分析により、正しさの保証が得られ、計算複雑度の上界が導出され、アルゴリズムの効率性と安定性が裏付けられた。