[論文レビュー] Enabling Distributed-Memory Tensor Completion in Python using New Sparse Tensor Kernels.

Zecheng Zhang, Xiaoxiao Wu+3 more|arXiv (Cornell University)|Oct 6, 2019

Tensor decomposition and applications参考文献 71被引用数 5

ひとこと要約

本論文は、分散メモリシステムにおける効率的でスケーラブルなテンソル補完を可能にする、Cyclopsテンソルライブラリ向けのハイレベルなPythonインターフェースを紹介する。特に、マルチテンソル演算に特化した新しいスパーステンソルカーネル（TTTPルーチン）を活用することで、ALS、SGD、CCD++アルゴリズムの高速化を実現し、100億非ゼロ要素を持つ合成テンソルおよびNetflixデータセットを用いた実験で、ハイパースパーステンソルにおいて高いパフォーマンスを達成した。

ABSTRACT

Tensor computations are increasingly prevalent numerical techniques in data science, but pose unique challenges for high-performance implementation. We provide novel algorithms and systems infrastructure, together enabling the first high-level parallel implementations of three algorithms for the tensor completion problem: alternating least squares (ALS), stochastic gradient descent (SGD), and coordinate descent (CCD++). We develop these methods using a new Python interface to the Cyclops tensor algebra library, which fully automates the management of distributed-memory parallelism and sparsity for NumPy-style operations on multidimensional arrays. To make possible tensor completion for very sparse tensors, we introduce a new multi-tensor routine, TTTP, that is asymptotically more efficient than pairwise tensor contraction for key components of the tensor completion methods. In particular, we show how TTTP can be used to perform an ALS via conjugate gradient with implicit matrix-vector products, a novel tensor completion algorithm. Further, we provide the first distributed tensor library with hypersparse matrix representations, via integration of new sequential and parallel routines into the Cyclops library. We provide microbenchmarking results on the Stampede2 supercomputer to demonstrate the efficiency of this functionality. Finally, we study the performance of the tensor completion methods for a synthetic tensor with 10 billion nonzeros and the Netflix dataset.

研究の動機と目的

• 分散メモリシステムにおける非常にスパースなテンソルのテンソル補完のパフォーマンスおよびスケーラビリティの課題に対処すること。
• スパarsityと分散処理を自動で管理する、ハイレベルで使いやすいPythonにおける並列テンソル演算を可能にすること。
• 従来のペアワイズテンソル畳み込みよりも優れる、特にTTTPを含む新しいスパーステンソルカーネルの開発および統合すること。
• メモリおよび計算効率の向上を図るため、分散テンソルライブラリ内でハイパースパース行列表現をサポートすること。
• 大規模な実世界および合成データセットにおけるテンソル補完アルゴリズムのパフォーマンスを評価すること。

提案手法

• NumPy風の操作が可能な分散スパーステンソル上で動作する、Cyclopsテンソル代数ライブラリ向けの新しいPythonインターフェースの設計および実装。
• ペアワイズ手法と比較して漸近的複雑度を低減する、マルチテンソル畳み込みを効率的に行うTTTP（テンソル-テンソル-テンソル積）ルーチンの導入。
• TTTPを活用して共役勾配ソルバーにおける暗黙的行列-ベクトル積を可能にし、新たなALSバージョンを形成することで、ALSにおける効率性を向上。
• ハイパースパース行列表現のための逐次的および並列的ルーチンをCyclopsライブラリに統合し、極度のスパarsityをサポート。
• 新しいカーネルおよびアルゴリズムのマイクロベンチマークおよびパフォーマンス評価に、Stampede2スパコンを用いる。
• 新規インfraストラクチャを用いて、ALS、SGD、CCD++の3つのテンソル補完アルゴリズムを実装および最適化する。

実験結果

リサーチクエスチョン

• RQ1 ハイレベルなPythonインターフェースは、テンソル演算における分散メモリ並列処理およびスパarsityを効果的に管理できるか？
• RQ2 TTTPルーチンは、従来のペアワイズテンソル畳み込みと比較して、テンソル補完の効率をどのように向上させるか？
• RQ3 TTTPによる暗黙的行列-ベクトル積は、新たなスケーラブルなALSアルゴリズムを可能にし、テンソル補完に適しているか？
• RQ4 新しい分散テンソルライブラリは、ハイパースパーステンソルにおいてどの程度のパフォーマンス向上を達成するか？
• RQ5 テンソル補完アルゴリズムは、実世界（Netflix）および大規模な合成データセットにおいてどの程度スケーリングするか？

主な発見

• TTTPルーチンは、キーテンソル補完コンponentsにおいて、ペアワイズテンソル畳み込みよりも漸近的に優れたパフォーマンスを提供する。
• 共役勾配法とTTTPによる暗黙的行列-ベクトル積を活用した新規ALSバージョンは、スパーステンソルにおいて高い効率性を達成する。
• ハイパースパース行列サポートを備えた分散テンソルライブラリにより、最大100億非ゼロ要素を有するテンソルにおいても効率的な計算が可能になる。
• Stampede2におけるマイクロベンチマークは、新しいスパーステンソルカーネルの効率性およびスケーラビリティを確認する。
• テンソル補完アルゴリズムは、合成された100億非ゼロ要素テンソルおよびNetflixデータセットの両方で優れたパフォーマンスを示す。
• Cyclopsへの新規カーネルの統合により、Pythonで初めて高レベルでスケーラブルかつ効率的なテンソル補完が実現された。