[論文レビュー] SGD_Tucker: A Novel Stochastic Optimization Strategy for Parallel Sparse Tucker Decomposition

Hao Li, Zixuan Li+4 more|arXiv (Cornell University)|Dec 7, 2020

Tensor decomposition and applications参考文献 42被引用数 12

ひとこと要約

本稿では、スパースなタッカー分解の並列化のための確率的最適化戦略である SGD_Tucker を提案する。この手法は、全テンソル要素の処理ではなく、小さなランダムバッチを処理することで中間変数の爆発を軽減する。並列処理の細分化を可能にし、P-Tucker や CD といった最先端手法と比較して少なくとも 2 倍の高速化を達成しながら、同等の精度を維持する。

ABSTRACT

Sparse Tucker Decomposition (STD) algorithms learn a core tensor and a group of factor matrices to obtain an optimal low-rank representation feature for the \underline{H}igh-\underline{O}rder, \underline{H}igh-\underline{D}imension, and \underline{S}parse \underline{T}ensor (HOHDST). However, existing STD algorithms face the problem of intermediate variables explosion which results from the fact that the formation of those variables, i.e., matrices Khatri-Rao product, Kronecker product, and matrix-matrix multiplication, follows the whole elements in sparse tensor. The above problems prevent deep fusion of efficient computation and big data platforms. To overcome the bottleneck, a novel stochastic optimization strategy (SGD$\_$Tucker) is proposed for STD which can automatically divide the high-dimension intermediate variables into small batches of intermediate matrices. Specifically, SGD$\_$Tucker only follows the randomly selected small samples rather than the whole elements, while maintaining the overall accuracy and convergence rate. In practice, SGD$\_$Tucker features the two distinct advancements over the state of the art. First, SGD$\_$Tucker can prune the communication overhead for the core tensor in distributed settings. Second, the low data-dependence of SGD$\_$Tucker enables fine-grained parallelization, which makes SGD$\_$Tucker obtaining lower computational overheads with the same accuracy. Experimental results show that SGD$\_$Tucker runs at least 2$X$ faster than the state of the art.

研究の動機と目的

• 高次元・高次元・スパーステンソル（HOHDST）分解における中間変数の爆発問題に対処すること。
• スパースタッカー分解（STD）における効率的な並列処理と通信オーバーヘッドの低減を実現すること。
• 大規模テンソル学習において、計算オーバーヘッドを大幅に削減しながらも、高い精度と収束速度を維持すること。
• Spark や Hadoop などのビッグデータプラットフォームに適した、スケーラブルでデータ依存性が低い最適化戦略を設計すること。

提案手法

• 全テンソル走査を回避する、スパースタッカー分解（STD）のための新規確率的最適化目的関数を提案する。
• 高次元の中間変数（例：カトラ・ラオ積やクロネッカー積）を小さなランダムバッチに分割し、段階的処理を行う。
• 全要素ではなくランダムにサンプリングされたテンソル要素からの勾配近似に確率的勾配降下法（SGD）を用いる。
• データ依存性が低いことを活かし、分散システムにおける細粒度並列処理を可能にする。
• 分散環境におけるメモリ圧力と通信コストを低減するバッチ処理戦略を導入する。
• 確率的サンプリングにもかかわらず収束性と精度を維持するコアテンソル更新メカニズムを採用する。

実験結果

リサーチクエスチョン

• RQ1 確率的最適化により、精度を損なわずスパースタッカー分解における中間変数の爆発を軽減できるか？
• RQ2 SGD_Tucker は複数スレッドおよび分散システムにおいて、どの程度の高速化と拡張性を示すか？
• RQ3 分散環境におけるスパーステンソル分解において、SGD_Tucker は通信オーバーヘッドをどの程度低減できるか？
• RQ4 P-Tucker や CD といった最先端手法と比較して、SGD_Tucker は RMSE および計算効率の点でどの程度優れているか？
• RQ5 SGD_Tucker は大規模で実世界のデータセットにおいて、安定した収束性と頑健性を維持できるか？

主な発見

• SGD_Tucker は MovieLens や Netflix のベンチマークデータセットにおいて、P-Tucker よりも少なくとも 2 倍、CD よりも最大 20 倍の高速化を達成する。
• 16 スレッドまででほぼ線形の高速化を示し、68% の効率で 11 倍の高速化を達成する。
• SGD_Tucker は最先端手法と同等の RMSE および MAE を維持しており、確率的サンプリングにもかかわらず高い精度保持性を示す。
• 計算時間はランクサイズに比例して線形に増加し、コアテンソルのランク変動に対してほとんど感度を示さない。
• 大規模データセットにおいて安定した収束行動を示し、他手法に比べて頑健性と拡張性に優れる。
• 低データ依存性とバッチ処理のおかげで、分散環境において通信オーバーヘッドの効果的な削減が可能になる。