[論文レビュー] Matrix Factorization at Scale: a Comparison of Scientific Data Analytics in Spark and C+MPI Using Three Case Studies

Alex Gittens, Aditya Devarakonda+15 more|arXiv (Cornell University)|Jul 5, 2016

Advanced Data Storage Technologies参考文献 42被引用数 16

ひとこと要約

本稿は、素粒子物理学、気象シミュレーション、バイオイメージングの分野から得たTBサイズのデータセットを用いて、大規模な行列因子分解におけるApache SparkとC+MPIの性能を評価している。Sparkは1600ノードまで強スケーリングを達成したが、スケジューリングのオーバーヘッド、遅延するタスク（stragglers）、シリアル化の影響により、2倍～25倍の性能差を示し、HPCワークロードにおける重要なボトル neck を明らかにした。

ABSTRACT

We explore the trade-offs of performing linear algebra using Apache Spark, compared to traditional C and MPI implementations on HPC platforms. Spark is designed for data analytics on cluster computing platforms with access to local disks and is optimized for data-parallel tasks. We examine three widely-used and important matrix factorizations: NMF (for physical plausability), PCA (for its ubiquity) and CX (for data interpretability). We apply these methods to TB-sized problems in particle physics, climate modeling and bioimaging. The data matrices are tall-and-skinny which enable the algorithms to map conveniently into Spark's data-parallel model. We perform scaling experiments on up to 1600 Cray XC40 nodes, describe the sources of slowdowns, and provide tuning guidance to obtain high performance.

研究の動機と目的

• Apache Sparkが、伝統的なHPC最適化済みのC+MPIコードと比較して、大規模な科学的行列因子分解に実用的かつ効率的であるかを評価すること。
• 現実世界の科学的ワークロードにおける、Sparkのような最新のデータ分析フレームワークとHPCスタックの間の性能差を解明すること。
• 大規模な線形代数ワークロードに適用した際のSparkにおける主な性能ボトル neck（遅延するタスクの影響、タスクスケジューリング、シリアル化など）を同定すること。
• 科学的データ分析のためのHPCプラットフォームにおけるSparkの性能を向上させるためのチューニング指針とアーキテクチャ的知見を提供すること。
• SparkがTBサイズの科学的データセットに対して、手動最適化されたHPCコードと同等の性能を維持しながら効果的にスケーリングできるかを評価すること。

提案手法

• HPCハードウェア上で、SparkとC+MPIの両方を用いて、PCA、NMF、CXの3つの行列因子分解の並列版を実装した。
• 素粒子物理学分野のDaya Bayニュートリノ実験（1.6TB）、CAM5気象シミュレーション（16TB）、質量分析画像（2.2TB）の3つの科学的分野からのTBサイズのデータセットを用いた。
• Sparkのレジlient分散データセット（RDD）とバッチ同期処理（BSP）モデルを用い、高さに対して幅が小さい行列（tall-and-skinny）に対するデータ並列処理を表現した。
• Cray XC40システムを用いて最大1600ノードでの強スケーリング実験を実施し、エンドツーエンドの性能を測定するとともに、スケーリングボトル neck を同定した。
• Sparkにおけるタスクスケジューリング、遅延するタスクの影響、結果のシリアル化、タスクのデシリアライズのオーバーヘッドを測定・分析した。
• 遅延するタスクの影響を軽減するためにSparkの予想実行（speculation）機能を活用したが、リモートワーカーからのRDDパーティション取得にかかる高遅延のため、効果が認められなかった。

実験結果

リサーチクエスチョン

• RQ1 Sparkの性能は、TBサイズの科学的データセットにおけるPCA、NMF、CXのような大規模な行列因子分解において、C+MPIと比べてどの程度か？
• RQ2 1600ノードにスケーリングした際の科学的線形代数ワークロードにおいて、Sparkの主な性能ボトル neck は何か？
• RQ3 遅延するタスクの影響とタスクスケジューリングのオーバーヘッドは、データ並列処理の科学的コンピューティングにおけるSparkのスケーラビリティをどの程度制限するか？
• RQ4 MPIベースのランタイムと連携した際、Sparkは高性能線形代数ライブラリを効果的に活用できるか？また、データ転送コストはどの程度か？
• RQ5 I/O性能は、HPCシステム上の大規模なデータ分析ワークロードにおけるエンドツーエンド実行時間にどのように影響するか？

主な発見

• Sparkは、TBサイズのデータセットに対するPCA、NMF、CXにおいて1600ノードまでスケーリングに成功し、大規模な科学的分析の実現可能性を示した。
• SparkとC+MPIのエンドツーエンド性能差は2倍～25倍であり、I/Oを除いた場合、性能差は10倍～40倍にまで拡大した。
• 遅延するタスクの影響が著しく、SparkのBSPモデルにおける同期バリアの影響で、複数回のPCAイテレーションで待機時間が最大100秒に達した。
• スケーリング段階でタスクスケジューリング、結果のシリアル化、デシリアライズのオーバーヘッドが実行時間のオーダーを上回り、計算コストを上回った。
• Sparkの予想実行機能を有効化しても、リモートワーカーからのRDDパーティション取得にかかる高遅延のため、性能向上は測定不能だった。
• 実行時間のばらつきは最大25％に達した（中央値645秒、最小489秒、最大716秒）、遅延を引き起こす一貫したステージは特定できず、タスク実行タイミングにおける体系的な不安定性が示された。