[論文レビュー] Shared Memory Parallelization of MTTKRP for Dense Tensors

Koby Hayashi, Grey Ballard+2 more|arXiv (Cornell University)|Aug 29, 2017

Tensor decomposition and applications参考文献 18被引用数 4

ひとこと要約

本論文は、密度行列テンソル分解における行列化テンソル乗算・カトリ＝ラオ積（MTTKRP）の共有メモリ並列アルゴリズムを提示する。本手法は、テンソル再順序付けを必要とせず、最適化されたBLAS行列演算を用いる。1ステップMTTKRPアルゴリズムと並列化されたカトリ＝ラオ積実装を組み合わせることで、fMRIデータにおいて既存のソフトウェアと比較して最大7.4倍の高速化を達成した。これは、マルチコアシステム上で効率的なCP分解を可能にする。

ABSTRACT

The matricized-tensor times Khatri-Rao product (MTTKRP) is the computational bottleneck for algorithms computing CP decompositions of tensors. In this paper, we develop shared-memory parallel algorithms for MTTKRP involving dense tensors. The algorithms cast nearly all of the computation as matrix operations in order to use optimized BLAS subroutines, and they avoid reordering tensor entries in memory. We benchmark sequential and parallel performance of our implementations, demonstrating high sequential performance and efficient parallel scaling. We use our parallel implementation to compute a CP decomposition of a neuroimaging data set and achieve a speedup of up to $7.4 imes$ over existing parallel software.

研究の動機と目的

• マルチコアシステムにおける密度テンソルのCPテンソル分解におけるMTTKRPの性能ボトルネックを解消すること。
• 高価なテンソルデータ再順序付けを必要とせず、最適化されたBLASサブルーチンを活用する並列アルゴリズムの開発。
• fMRIのような大規模神経画像データにおけるCP分解の効率性の向上。現在のMatlabベースのツールでは処理が遅すぎる。
• 標準的なBLASとOpenMPのみを用いて、共有メモリアーキテクチャ上で高性能かつスケーラブルな計算を実現すること。
• MTTKRPカーネルの最適化が、CP-ALS反復全体に顕著な高速化をもたらすことを実証すること。

提案手法

• テンソル再順序付けを回避する、新しい1ステップMTTKRPアルゴリズムの設計。計算を最適化されたBLAS行列演算のシーケンスとして表現。
• OpenMPとマルチスレッドBLASを用いた、複数行列のカトリ＝ラオ積を並列で行う行方向アルゴリズムの実装。
• 比較のためのベースラインとして、Phanら（2013）の2ステップMTTKRPアルゴリズムを採用。同アルゴリズムもOpenMPとBLASを用いて並列化。
• 両方のMTTKRPアルゴリズムを、固定されたテンソルメモリレイアウトを維持する構造に設計。これにより、データ局所性が保たれ、高コストな再順序付けが不要になる。
• 最適化されたMTTKRPカーネルを、神経画像データ用のCP-ALSソルバーに統合。外モードには1ステップ法、内モードには2ステップ法を適用。
• 3Dおよび4DのfMRIテンソルを用い、異なるランクとスレッド数で性能をベンチマーク。シーケンシャルおよび並列のMatlab実装と比較。

実験結果

リサーチクエスチョン

• RQ1 密度テンソルのMTTKRPを、データ再順序付けを伴わず、かつ高度に最適化されたBLASルーチンを活用できる共有メモリシステム上で、効率的に並列化できるか？
• RQ2 1ステップ法と2ステップ法のMTTKRPアルゴリズムは、異なるテンソル次元とランクにおいて、シーケンシャルおよび並列性能でどのように比較されるか？
• RQ3 MTTKRPの最適化が、実世界の神経画像データにおけるCP-ALS全体の性能に与える影響は何か？
• RQ4 特に小さなモードにおいて、カトリ＝ラオ積の計算コストがMTTKRP全体の性能に与える影響は何か？
• RQ5 モード間で繰り返しKRP計算を回避するようなさらなる最適化は、CP-ALSにおける追加のパフォーマンス向上をもたらすか？

主な発見

• 提案された1ステップMTTKRPアルゴリズムは、12スレッドを用いた場合、ベースライン実装と比較して最大12倍の高速化を達成。シーケンシャルおよび並列性能の両面で顕著な向上を示した。
• 2ステップMTTKRPアルゴリズムは、常にベースラインを上回り、同じテンソルサイズにおいて12コア環境で最大8倍の並列スループット向上を達成した。
• fMRIデータにおいて、最適化されたMTTKRPカーネルを用いたCP-ALSの完全実装は、既存の並列ソフトウェアと比較して7.4倍の高速化を達成した。特に高ランクの場合に顕著であった。
• カトリ＝ラオ積の計算は、1ステップ法ですでに最大半分の時間を消費しており、浮動小数点演算数の約1/30に過ぎないにもかかわらず、主要なパフォーマンスボトルネックであった。
• シングルコア環境におけるC言語実装のシーケンシャル性能は、MatlabのTensor Toolboxと比較して最大2倍速く、カーネルレベルの最適化が強いことを示した。
• MTTKRP最適化が進むにつれ、CP-ALSにおける残差誤差計算が新たなパフォーマンスボトルネックに浮上した。今後の最適化は、これらのコンponentsにも焦点を当てるべきである。