[論文レビュー] PLANC: Parallel Low Rank Approximation with Non-negativity Constraints

Srinivas Eswar, Koby Hayashi+4 more|arXiv (Cornell University)|Aug 30, 2019

Tensor decomposition and applications参考文献 52被引用数 5

ひとこと要約

本論文では、巨大な密行列に対する非負値低ランクテンソル近似（NNCP）のスケーラブルで分散メモリ型並列フレームワーク、PLANCを提示する。最適化されたMTTKRPカーネルと次元木、GPUアクセラレーションを活用して計算を高速化し、最大512ノードおよび20 GBの脳画像データにおいて強力なスケーリングを達成し、逐次的手法と比較して顕著な高速化を実現した。

ABSTRACT

We consider the problem of low-rank approximation of massive dense non-negative tensor data, for example to discover latent patterns in video and imaging applications. As the size of data sets grows, single workstations are hitting bottlenecks in both computation time and available memory. We propose a distributed-memory parallel computing solution to handle massive data sets, loading the input data across the memories of multiple nodes and performing efficient and scalable parallel algorithms to compute the low-rank approximation. We present a software package called PLANC (Parallel Low Rank Approximation with Non-negativity Constraints), which implements our solution and allows for extension in terms of data (dense or sparse, matrices or tensors of any order), algorithm (e.g., from multiplicative updating techniques to alternating direction method of multipliers), and architecture (we exploit GPUs to accelerate the computation in this work).We describe our parallel distributions and algorithms, which are careful to avoid unnecessary communication and computation, show how to extend the software to include new algorithms and/or constraints, and report efficiency and scalability results for both synthetic and real-world data sets.

研究の動機と目的

• 巨大な非負値テンソルデータの低ランク近似における計算およびメモリのボトル neck を解消すること。
• 通信と負荷不均衡を最小限に抑えるスケーラブルで分散メモリ型並列アルゴリズムを設計すること。
• GPUを含むハイパフォーマンスアーキテクチャ上で非負値CP分解を効率的に実行できること。
• さまざまなアルゴリズム、データ型、制約をサポートする拡張可能なソフトウェアフレームワークを提供すること。

提案手法

• MTTKRP操作間で中間計算をキャッシュおよび再利用できる次元木データ構造を採用し、重複作業を削減する。
• プロセッサ間のデータ移動を最小限に抑える通信回避型並列アルゴリズムを設計し、MTTKRP計算中に通信を低減する。
• 大規模なテンソル因子分解をHPCクラスタ上で実行できる、共有/分散メモリモデルを採用する。
• 各イテレーションで2つのGEMM演算に変換することで、MTTKRPをGPUアクセラレーションに統合し、高い演算強度を活用する。
• モジュラーなソフトウェアインターフェースを通じて、複数の最適化アルゴリズム（例：MU、HALS、ADMM、ネステロフベース）をサポートする。
• NNLSソルバーや更新ルールのプラグインアーキテクチャにより、新しいアルゴリズムや制約への拡張性を実現する。

実験結果

リサーチクエスチョン

• RQ1 MTTKRPの通信回避型スケーラブル並列アルゴリズムは、大規模なテンソルデータにおいて強力なスケーリングを達成できるか？
• RQ2 次元木の使用が非負値CP分解における計算コストをどの程度低減するか？
• RQ3 GPUアクセラレーションは、大規模な非負値テンソル因子分解におけるパフォーマンスをどの程度向上できるか？
• RQ4 NNLSアルゴリズムの選択が、並列環境下での1イテレーションあたりの実行時間と収束に与える影響は？
• RQ5 フレームワークは、拡張可能なアルゴリズムサポートを備えており、密行列およびスパーステンソルデータを効率的に処理できるか？

主な発見

• PLANCは、最大512ノードで20 GBのマウス脳画像データセットに対して強力なスケーリングを達成し、高い効率性と低い通信オーバーヘッドを示した。
• 次元木最適化により、MTTKRPにおける中間結果の再利用によって冗長な計算が著しく削減され、パフォーマンスが向上した。
• GPUアクセラレーションにより、GEMMベースのMTTKRPカーネルの高い演算強度を活用し、特に局所的テンソル次元が大きい場合に顕著な高速化が達成された。
• フレームワークは弱スケーリングとして16,000ノード以上（35 TBデータ）にスケーリング可能であり、ペタスケールのテンソルワークロードを処理できる能力を確認した。
• 異なるNNLSアルゴリズム（例：ネステロフベース）は1イテレーションあたりの実行時間に顕著な差を示し、アルゴリズム選択が全体の解に至るまでの時間に影響することがわかった。
• ソフトウェアフレームワークは、密行列NMF、スパースNMF、密行列NTFを含む複数のアルゴリズムとデータ型を効果的にサポートしており、将来の拡張に対しても拡張性を有している。