[論文レビュー] Fast and Accurate Randomized Algorithms for Low-rank Tensor Decompositions

Linjian Ma, Edgar Solomonik|arXiv (Cornell University)|Apr 2, 2021

Tensor decomposition and applications参考文献 51被引用数 10

ひとこと要約

本稿では、スケッチド交互最小二乗法（ALS）を用いた低ランクTuckerテンソル分解の高速かつ高精度なランダム化アルゴリズムを提案する。各部分問題は、テンソルスケッチまたはリーダーシップスコアサンプリングを用いてランク制約付き線形最小二乗問題として解かれる。この手法は、最先端の手法と比較して最大22.0%の相対残差改善を達成し、Tucker圧縮を介してCP分解を加速することで、収束が速くなり、精度が向上する。

ABSTRACT

Low-rank Tucker and CP tensor decompositions are powerful tools in data analytics. The widely used alternating least squares (ALS) method, which solves a sequence of over-determined least squares subproblems, is costly for large and sparse tensors. We propose a fast and accurate sketched ALS algorithm for Tucker decomposition, which solves a sequence of sketched rank-constrained linear least squares subproblems. Theoretical sketch size upper bounds are provided to achieve $O(ε)$ relative error for each subproblem with two sketching techniques, TensorSketch and leverage score sampling. Experimental results show that this new ALS algorithm, combined with a new initialization scheme based on randomized range finder, yields up to $22.0\%$ relative decomposition residual improvement compared to the state-of-the-art sketched randomized algorithm for Tucker decomposition of various synthetic and real datasets. This Tucker-ALS algorithm is further used to accelerate CP decomposition, by using randomized Tucker compression followed by CP decomposition of the Tucker core tensor. Experimental results show that this algorithm not only converges faster, but also yields more accurate CP decompositions.

研究の動機と目的

• TuckerおよびCP分解における大規模かつスパースなテンソルに対して、従来のALSの高い計算コストを緩和すること。
• Tucker分解に適したスケッチドALSアルゴリズムを開発し、計算コストをO(nnz(T)R)未満に抑えるとともに、精度を維持すること。
• ランク制約付き最小二乗問題の相対誤差に対して、理論的なスケッチサイズの tighter な境界を提供すること。
• 新しいランダム化範囲探索器の初期化を用いて、高コherenctなスパーステンソルに対するランダム化Tucker分解の精度を向上させること。
• コアテンソルのランダム化Tucker圧縮を最初に行い、その後にCP-ALSを適用することで、CP分解を加速すること。

提案手法

• HOOIと同一の修正されたALS方式を用い、各部分問題で1つの因子行列とコアテンソルを更新するが、各問題をスケッチを用いて解く。
• サイズ s^{N-1} × R^{N-1} で、正規直交列をもつ左辺行列を有するランク制約付き線形最小二乗問題にスケッチを適用する。
• 2種類のスケッチ技術を用いる：テンソルスケッチとリーダーシップスコアサンプリング。両者ともO(ε)の相対誤差を達成することが証明済み。
• 理論的スケッチサイズの上界を導出：リーダーシップスコアサンプリングでは O(R^{N-1}/(ε²δ))、テンソルスケッチでは O((R^{N-1}·3^{N-1})/δ·(R^{N-1}+1/ε²))。
• リーダーシップスコアサンプリングの高コヒーレンステンソルにおける精度向上を図るため、ランダム化範囲探索器に基づく初期化を導入。
• 入力テンソルをランダム化Tucker分解で圧縮した後、より小さいコアテンソルにCP-ALSを適用することで、CP分解を加速する。

実験結果

リサーチクエスチョン

• RQ1 Tucker ALSのランク制約付き最小二乗問題にスケッチを効果的に適用できるか、かつ精度を維持できるか。
• RQ2 テンソルスケッチおよびリーダーシップスコアサンプリングを用いたTucker ALS部分問題において、O(ε)の相対誤差を達成するのに理論的に十分なスケッチサイズは何か。
• RQ3 提案されたスケッチドTucker-ALSアルゴリズムは、既存のランダム化および古典的Tucker分解手法と比較して、精度および速度の面で優れているか。
• RQ4 Tucker圧縮 followed by CP分解は、直接のCP-ALSと比較して、より速く、より高精度なCP結果をもたらすか。
• RQ5 ランダム化範囲探索器の初期化は、スパースで高コヒーレンスなテンソルのTucker分解におけるリーダーシップスコアサンプリングの性能を向上させるか。

主な発見

• 提案されたスケッチドALSアルゴリズムは、合成および実データセットにおいて、最先端のスケッチドランダム化アルゴリズムと比較して最大22.0%の相対残差改善を達成した。
• 理論的スケッチサイズの境界は、先行研究より tighter であり、リーダーシップスコアサンプリングではO(R^{N-1}/(ε²δ))のスケッチサイズでO(ε)の相対誤差を達成できる。
• テンソルスケッチはより大きなスケッチサイズ O((R^{N-1}·3^{N-1})/δ·(R^{N-1}+1/ε²)) を必要とするが、依然としてO(ε)の相対誤差を達成する。
• Tucker + CP分解パイプライン（スケッチドTucker-ALS followed by CP-ALS）は、直接CP-ALSと比較して、5回未満のTuckerスイープで収束した。
• スパーステンソル（p = 0.1 および p = 0.02）では、Tucker + CP法が顕著な性能優位を示し、特に残差精度の面で顕著であった。
• よりタイトな理論的境界が得られたにもかかわらず、複数のテンソルタイプにおいて、リーダーシップスコアサンプリングとテンソルスケッチの実験的性能は、同じスケッチサイズで類似していた。