[論文レビュー] A Survey on Spark Ecosystem for Big Data Processing

Shanjiang Tang, Bingsheng He+3 more|arXiv (Cornell University)|Nov 18, 2018

Cloud Computing and Resource Management参考文献 60被引用数 17

ひとこと要約

本サーベイは、Apache Sparkの最適化技術について包括的かつ体系的なレビューを提供し、ストレージ、プロセッシング、データ管理、ハイレベル言語、アプリケーションの6層にわたるSparkエコシステム全体を分類している。パフォーマンス、汎用性、フォールトトレランスに関する主な課題を特定し、主記憶上でのビッグデータ処理における今後の研究方向性を提示している。

ABSTRACT

With the explosive increase of big data in industry and academic fields, it is necessary to apply large-scale data processing systems to analysis Big Data. Arguably, Spark is state of the art in large-scale data computing systems nowadays, due to its good properties including generality, fault tolerance, high performance of in-memory data processing, and scalability. Spark adopts a flexible Resident Distributed Dataset (RDD) programming model with a set of provided transformation and action operators whose operating functions can be customized by users according to their applications. It is originally positioned as a fast and general data processing system. A large body of research efforts have been made to make it more efficient (faster) and general by considering various circumstances since its introduction. In this survey, we aim to have a thorough review of various kinds of optimization techniques on the generality and performance improvement of Spark. We introduce Spark programming model and computing system, discuss the pros and cons of Spark, and have an investigation and classification of various solving techniques in the literature. Moreover, we also introduce various data management and processing systems, machine learning algorithms and applications supported by Spark. Finally, we make a discussion on the open issues and challenges for large-scale in-memory data processing with Spark.

研究の動機と目的

• Sparkのパフォーマンスと汎用性を最適化するための既存研究を体系的にレビューし分類すること。
• Sparkの現在のアーキテクチャにおける制限、特にメモリ管理、フォールトトレランス、ハードウェアサポートの観点から特定すること。
• 低レベルのストレージから高レベルのアプリケーションに至るまで、Sparkエコシステムの各レイヤーの進化とその最適化戦略を分析すること。
• 異種アクセラレータ（GPU、FPGA、TPU）と細粒度のデータ操作をサポートする上で残された課題を浮き彫りにすること。
• 研究者および実務家が最新の技術を要約し、Sparkベースのビッグデータ処理における今後の研究方向性を明確化できるようにすること。

提案手法

• Sparkエコシステムを6つの支援レイヤーに分類：ストレージ、プロセッサ、データ管理、データ処理、ハイレベル言語、アプリケーションアルゴリズムレイヤー。
• 最適化技術をその焦点に基づいてレビュー・分類：パフォーマンス（例：スケジューリング、メモリI/O）、汎用性（例：ハイレベルAPI）、フォールトトレランス。
• SparkのRDDモデル、ラインレージベースのリカバリ、および主記憶上での計算を分析し、ガベージコレクションやデータスキーのボトルネックを特定。
• アクセラレータ（GPU、FPGA、APU、TPU）の拡張とその統合の課題を評価。異種プログラミングモデルによる課題が生じる。
• ガベージコレクションのオーバーヘッドを低減するため、シリアル化とメモリレイアウトを最適化するTungstenというSparkメモリ管理プロジェクトを検討。
• 機械学習（例：MLlib）、ディープラーニング（例：DeepLearning4J、Spark上のTensorFlow）、データ管理（例：Shark、Spark SQL）のためのSparkベースのシステムをレビュー。

実験結果

リサーチクエスチョン

• RQ1 Sparkのエコシステムの各レイヤー、特に主記憶上でのデータ処理において、どのようにしてパフォーマンスを最適化できるか？
• RQ2 RDDモデルの主な制限、すなわちデータスキー、不変性、細粒度操作の欠如は何か？
• RQ3 GPU、FPGA、APU、TPUといった新興の異種アクセラレータをサポートするために、Sparkはどのように拡張できるか？
• RQ4 特にラインレージの永続化とドライバ障害に関するフォールトトレランスにおける未解決の課題は何か？
• RQ5 Sparkにおけるメモリ管理とガベージコレクションの最適化戦略の中で、最も効果的なものは何か？

主な発見

• Sparkの主記憶上での処理はMapReduceよりも顕著に高いパフォーマンスを発揮するが、ガベージコレクションがパフォーマンスに深刻なボトルネックをもたらしている。
• Sparkのラインレージベースのフォールトトレランス機構は、レプリケーションよりもストレージ効率が良いが、ドライバとラインレージメタデータの可用性を仮定しており、100％のフォールトトレランスを保証しない。
• Tungstenは、シリアル化とメモリレイアウトの最適化により、メモリ使用量とガベージコレクションのオーバーヘッドを削減するSparkメモリ管理プロジェクトである。
• RDDパーティションにおけるデータスキーは、ワーカー間でのパイプラインタスク実行に負荷の不均衡を引き起こし、パフォーマンスの低下を招く。
• GPU、FPGA、TPUなどの異種アクセラレータのサポートは、Sparkにおいて限定的であり、CUDAやOpenCLといった多様なプログラミングモデルを統合するための新しい抽象化が必要である。
• ハイレベルの宣言的および手続き的API（例：Spark SQL、MLlib）は使いやすさを向上させるが、コアSparkにおける低レベルのパフォーマンスや汎用性の問題を解決しない。