[論文レビュー] MLlib: Machine Learning in Apache Spark

Xiangrui Meng, Joseph K. Bradley+14 more|arXiv (Cornell University)|May 26, 2015

Machine Learning and Data Classification参考文献 10被引用数 961

ひとこと要約

この論文は、分類、回帰、クラスタリング、協調フィルタリング、次元削減のための標準アルゴリズムのスケーラブルな実装を提供する、Apache Spark用のオープンソース分散機械学習ライブラリであるMLlibを紹介する。Sparkの反復的計算モデルに裏打ちされ、そのエコシステムと統合されているため、Java、Scala、Python、Rの各言語で高いパフォーマンスと拡張性を実現しており、アルゴリズム的およびシステムレベルの最適化のおかげで、バージョン間で最大3倍の性能向上を達成している。

ABSTRACT

Apache Spark is a popular open-source platform for large-scale data processing that is well-suited for iterative machine learning tasks. In this paper we present MLlib, Spark's open-source distributed machine learning library. MLlib provides efficient functionality for a wide range of learning settings and includes several underlying statistical, optimization, and linear algebra primitives. Shipped with Spark, MLlib supports several languages and provides a high-level API that leverages Spark's rich ecosystem to simplify the development of end-to-end machine learning pipelines. MLlib has experienced a rapid growth due to its vibrant open-source community of over 140 contributors, and includes extensive documentation to support further growth and to let users quickly get up to speed.

研究の動機と目的

• 大規模で複雑なデータセットにおけるスケーラブルで分散処理可能な機械学習の増大するニーズに対応すること。
• Apache Sparkの反復的計算モデルに統合された、高パフォーマンスで生産環境対応の機械学習ライブラリを提供すること。
• 統一的で高水準のAPIを通じて、エンドツーエンドの機械学習パイプラインの開発を簡素化すること。
• オープンソース貢献とエコシステム統合を通じて、コミュニティ主導の迅速な開発と拡張性を可能にすること。
• Hadoop MapReduce上のMahoutなどの既存システムと比較して、顕著なパフォーマンスおよびスケーラビリティの向上を示すこと。

提案手法

• MLlibは、反復的機械学習アルゴリズムの高速化に寄与するSparkのメモリ内計算と最適化された実行エンジンを活用する。
• Java、Scala、Python、Rで高水準APIを提供し、複数段階の機械学習ワークフローを構築・チューニングするための統一されたパイプラインインターフェース（spark.ml）を備える。
• 効率的な線形代数および最適化プリミティブを用いて、ALS、ロジスティック回帰、決定木、k-meansなどのコアアルゴリズムの最適化実装を含む。
• Sparkのエコシステムと統合されており、データ前処理にはSpark SQL、グラフベース学習にはGraphX、オンライン学習にはSpark Streamingが利用可能。
• 各ノードでネイティブC++ベースの線形代数ライブラリ（例：BLAS）を用いて数値計算を高速化する。
• パフォーマンス向上は、アルゴリズムの改善と、Sparkの通信プロトコルおよびスケジューラーにおける低レベル最適化の両方によって駆動される。

実験結果

リサーチクエスチョン

• RQ1 一般用途のデータ処理エンジン（例：Apache Spark）に分散機械学習ライブラリを効率的に統合する方法は何か？
• RQ2 Mahout on Hadoop MapReduceのような既存システムと比較して、MLlibが提供するパフォーマンスおよびスケーラビリティの利点は何か？
• RQ3 Sparkの反復的計算モデルが、大規模機械学習アルゴリズムの効率性をどの程度向上させられるか？
• RQ4 オープンソースコミュニティは、生産環境向けMLライブラリの成長と拡張性をどの程度促進しているか？
• RQ5 MLlibの高パフォーマンスおよびマルチ言語対応を可能にする主なアーキテクチャ的・実装的選択肢は何か？

主な発見

• MLlibはALSアルゴリズムにおいて優れたスケーラビリティを示し、Sparkのスケジューリングオーバーヘッドが低く、反復処理を効果的にサポートしているため、Hadoop MapReduce上のMahoutを上回った。
• 16ノードのEC2クラスタ上で、バージョン1.0から1.1にかけて全アルゴリズムで平均3倍の高速化が達成され、アルゴリズム的およびシステムレベルの最適化が要因となった。
• データサイズの増大に伴っても、Amazon Reviewsデータセットでのユーザー記録の複製によっても性能が安定し、効率的であった。
• Sparkエコシステム、特にspark.mlとの統合により、複雑な複数段階の機械学習パイプラインの開発が著しく簡素化された。
• オープンソースコミュニティから50以上の組織にまたがる140名以上の開発者が貢献し、機能開発とエコシステムの成長が加速した。
• ネイティブ線形代数ライブラリの使用とマルチ言語APIのおかげで、MLlibは高いパフォーマンスと広範なデータサイエンスワークフローへのアクセス性を実現した。