[論文レビュー] Low-rank Tensor Train Decomposition Using TensorSketch

Zhongming Chen, Huilin Jiang+2 more|arXiv (Cornell University)|Sep 15, 2023

Tensor decomposition and applicationsMathematics被引用数 3

ひとこと要約

本稿では、大規模なテンソルにおける低ランクテンソルトレース（TT）分解の計算を高速化するために、TensorSketchを用いた確率的プロキシマル交替最小二乗法（ALS）アルゴリズムを提案する。プロキシマル正則化項を組み込み、FFTを活用したTensorSketchの効率性を活かすことで、従来のALSおよび既存の確率的手法と比較して、特にスケッチサイズとTTランクが増加する際、優れた精度と速度を達成する。

ABSTRACT

Tensor train decomposition is one of the most powerful approaches for processing high-dimensional data. For low-rank tensor train decomposition of large tensors, the alternating least squares (ALS) algorithm is widely used by updating each core tensor alternatively. However, it may suffer from the curse of dimensionality due to the large scale of subproblems. In this paper, a novel randomized proximal ALS algorithm is proposed for low-rank tensor train decomposition by using TensorSketch, which allows for efficient implementation via fast Fourier transform. The theoretical lower bounds of sketch size are estimated for approximating the optimal value of subproblems. Numerical experiments on synthetic and real-world data also demonstrate the effectiveness and efficiency of the proposed algorithm.

研究の動機と目的

• 大規模かつ高次元のテンソルに対して、低ランクテンソルトレース（TT）分解における交替最小二乗法（ALS）の計算ボトルネックを解消すること。
• 古典的TT-ALSおよびTT-SVDにおける次元の呪いとメモリ制限を克服するため、ランダム化と正則化を導入すること。
• スワーム効果の緩和と解の非一意性の是正を図るため、プロキシマル正則化項を追加することでALSの安定性と収束性を向上させること。
• 精度を保持しつつ部分問題のサイズを大幅に削減するため、高速かつスパースなランダム射影を可能にするTensorSketchを活用すること。
• 高い確率で近似品質を保証するためのスケッチサイズの理論的下界を確立すること。

提案手法

• 現在の反復値からの逸脱をペナルティ化するプロキシマル項を追加することで、正則化されたALS部分問題を定式化し、解の一意性と収束性を向上させること。
• スパースなランダム射影を用いた高速なジョンソン＝リンデストラウス埋め込みにより、TT-ALSの大きな部分問題をTensorSketchで圧縮すること。
• 高速フーリエ変換（FFT）を活用してTensorSketchの演算を高速化し、クロネッカー積構造のスケッチにO(n log n)の計算量を実現すること。
• 圧縮されたデータに対してトレuncated SVDを用いて部分問題を効率的に解き、計算コストを削減しながらも精度を維持すること。
• 理論的分析を通じて、最適な部分問題解の高確率近似を保証するためのスケッチサイズの下界を導出すること。
• 確率的スケッチを交替最小化フレームワークに統合し、スケッチされた最小二乗法を用いてTTコアを反復的に更新すること。

実験結果

リサーチクエスチョン

• RQ1 大規模テンソルにおいて、解の精度を保持しつつ、部分問題の加速にTensorSketchを効果的に適用できるか？
• RQ2 プロキシマル正則化項の追加が、標準ALSと比較して確率的TT分解の安定性と収束性をどのように向上させるか？
• RQ3 スケッチされた部分問題における最適なTTコアの高確率近似を保証するための理論的最小スケッチサイズは何か？
• RQ4 実世界のデータにおいて、提案手法TT-TSはTT-ALSおよびTT-Randomと比較して、精度および計算効率の面でどの程度優れているか？
• RQ5 スケッチサイズとTTランクを増加させることで、提案手法の近似品質はどの程度向上するか？

主な発見

• 色画像（TTランク (1,50,3,1)、スケッチサイズ200）において、TT-TSはTT-Random（29.7）を上回る高いPSNR（30.63）を達成し、優れた精度を示した。
• 高光譜画像データにおいて、TT-TSは相対誤差およびスペクトル曲線近似の両面でTT-Randomを一貫して上回り、特にプロキシマル正則化が適用された場合に顕著であった。
• 30フレームの動画データにおいて、TT-ALSはメモリ不足で実行不能であったが、TT-TSおよびTT-Randomは1スイープあたり0.1秒未塔で処理を完了し、スケーラビリティを示した。
• 動画データの2番目のフレームにおいて、TT-TSのPSNRは35.23に達し、同じ設定下でTT-Random（25.1）を著しく上回った。
• スケッチサイズが増加するにつれて、TT-TSとTT-ALSの差が縮まり、十分なスケッチングにより最適解に近づくことが示された。
• 理論的なスケッチサイズの下限はやや過剰保守的であることが判明し、今後の研究でより緊密な解析が可能である余地があることが示唆された。