[論文レビュー] MLI: An API for Distributed Machine Learning

Evan Sparks, Ameet Talwalkar+7 more|arXiv (Cornell University)|Oct 21, 2013

Graph Theory and Algorithms参考文献 10被引用数 33

ひとこと要約

MLI は、データ読み込みおよびローカル線形代数演算のための直感的な抽象化を提供することで、スケーラブルで高性能なアルゴリズムの実装を簡素化する高水準APIです。Apache Spark 上に構築されており、MATLAB/R に似た簡潔で読みやすいコードを記述可能でありながら、GraphLab や Vowpal Wabbit といった専用の低水準システムに近いパフォーマンスを達成しています。Mahout よりも優れた性能を発揮し、MATLAB よりも大きなデータセットを処理可能です。

ABSTRACT

MLI is an Application Programming Interface designed to address the challenges of building Machine Learn- ing algorithms in a distributed setting based on data-centric computing. Its primary goal is to simplify the development of high-performance, scalable, distributed algorithms. Our initial results show that, relative to existing systems, this interface can be used to build distributed implementations of a wide variety of common Machine Learning algorithms with minimal complexity and highly competitive performance and scalability.

研究の動機と目的

• MATLAB/R での迅速なプロトタイピングと、スケーラブルで産業用途に耐える分散機械学習実装との間のギャップを埋めること。
• 既存の分散機械学習システムにおける使いやすさとパフォーマンスのトレードオフを解消すること。これらは、MapReduce のような低水準なシステムであるか、高度な最適化を備えたコンパイラーのような複雑なシステムである。
• 分散システムの高度な知識が不要な、開発者フレンドリーなAPIを提供し、効率的な通信および並列化パターンをサポートすること。
• ML研究者が、高いパフォーマンスと強力な水平スケーリングを維持しながら、最小限のコード複雑性でスケーラブルなアルゴリズムを実装できること。

提案手法

• MLI は、データ読み込みおよび変換のための MLTable と、データローカルな線形代数演算のための LocalMatrix という2つのコア抽象化を導入している。
• API は Apache Spark 上に実装されており、反復的かつメモリ内計算をサポートする仕組みを活用して、機械学習ワークロードに最適化されたパフォーマンスを実現している。
• MLI は、MATLAB や R の疑似コードに非常に近い高水準で読みやすいコードを記述可能にし、低水準な分散システムの詳細を隠蔽している。
• システムは依存関係管理に SBT を使用しており、環境変数による設定と1つのコマンドでクラスタを起動する仕組みにより、簡単なデプロイが可能である。
• MLI は複雑な静的解析やコンパイルパイプラインを回避し、通信および並列化パターンの制御を開発者に明示的に任せており、柔軟性を確保している。
• 実装はモジュラー拡張をサポートしており、新しいアルゴリズムを最小限のボilerplateコードで新しい Scala クラスとして追加可能である。

実験結果

リサーチクエスチョン

• RQ1 分散機械学習の高水準APIは、MATLAB/R に匹敵する使いやすさと、低水準システムに近いパフォーマンスを両立できるか？
• RQ2 MLI API は、Mahout や GraphLab、Vowpal Wabbit といった既存システムと比較して、コードの簡潔さと実行効率の点でどのように異なるか？
• RQ3 MLI はクラスタサイズに応じてどの程度スケーリング可能であり、メモリのボトルネックを回避しながらパフォーマンスを維持できるか？
• RQ4 MLI を用いた実装は、16x および 25x の Netflix データセットのような大規模データセットを処理する際、MATLAB や MATLAB-Mex と比較してどの程度優れているか？
• RQ5 GraphLab や Mahout と比較して、MLI の設定およびデプロイの実用的オーバーヘッドはどの程度か？

主な発見

• ロジスティック回帰および行列分解の両タスクにおいて、MLI はクラスタサイズにかかわらず Mahout よりも合計実行時間とスケーリング効率が優れている。
• MLI は GraphLab や Vowpal Wabbit のような専用システムと同等のスケーリング特性を示しており、GraphLab のパフォーマンスから4倍未満の定数要因内に収まっている。
• MATLAB や MATLAB-Mex は 16x および 25x の Netflix データセットを処理する際にメモリ不足で処理を完了できなかったが、MLI はこれらのワークロードを正常に処理できた。
• MLI の実装は、同等の MATLAB コードとほぼ同じ長さであり、高いコードの簡潔さと可読性を示している。
• MLI のセットアップおよび構成は、GraphLab よりもはるかに単純である。GraphLab は手動での MPI のセットアップ、依存関係のコンパイル、ファイルベースのデータパーティショニングを必要としている。
• 強化スケーリング実験において、MLI はパフォーマンスとスケーラビリティを維持しており、MATLAB や Mahout を上回り、9x の Netflix データセットにおいて GraphLab の4倍未満のパフォーマンスに留まっている。