[論文レビュー] RankMap: A Platform-Aware Framework for Distributed Learning from Dense Datasets

Azalia Mirhoseini, Eva L. Dyer+3 more|arXiv (Cornell University)|Mar 27, 2015

Sparse and Compressive Sensing Techniques参考文献 46被引用数 10

ひとこと要約

RankMapは、スパース行列因子分解を用いて低ランク構造を活用することで、密度の高いデータセットにおける反復的機械学習を、プラットフォームに配慮した分散フレームワークとして高速化する。密度の高いデータを低ランクでスパースな成分に分解することにより、メモリ、通信、計算コストを削減し、学習精度を維持したまま、先行研究と比較して最大2桁の性能向上を達成した。

ABSTRACT

This paper introduces RankMap, a platform-aware end-to-end framework for efficient execution of a broad class of iterative learning algorithms for massive and dense datasets. Our framework exploits data structure to factorize it into an ensemble of lower rank subspaces. The factorization creates sparse low-dimensional representations of the data, a property which is leveraged to devise effective mapping and scheduling of iterative learning algorithms on the distributed computing machines. We provide two APIs, one matrix-based and one graph-based, which facilitate automated adoption of the framework for performing several contemporary learning applications. To demonstrate the utility of RankMap, we solve sparse recovery and power iteration problems on various real-world datasets with up to 1.8 billion non-zeros. Our evaluations are performed on Amazon EC2 and IBM iDataPlex servers using up to 244 cores. The results demonstrate up to two orders of magnitude improvements in memory usage, execution speed, and bandwidth compared with the best reported prior work, while achieving the same level of learning accuracy.

研究の動機と目的

• 高通信・高保存領域コストを伴う密度の高く構造化されたデータセットを扱う際、既存のグラフ並列フレームワークの非効率性に対処すること。
• データに配慮した因子分解とプラットフォームに配慮したスケジューリングを用いて、大規模な密度の高いデータセット上で反復的学習アルゴリズムをスケーラブルかつ効率的に実行すること。
• 密度の高いデータをスパースで低ランクの表現に変換することで、分散システムにおける計算コストと通信コストを低減すること。
• 既存の機械学習パイプラインへのシームレスな統合を可能にする、オープンソースで拡張可能なAPI（行列ベースおよび頂点中心）を提供すること。
• 実世界のデータセットおよび異種ハードウェア上で、メモリ、帯域幅、実行速度の面で顕著な性能向上を実証すること。

提案手法

• RankMapは、サンプリングに基づく低ランク近似を用いて、密度の高い構造化データセットを2つのスパース行列に因子分解し、非ゼロ要素を著しく削減する。
• 近似精度をアプリケーション固有の要件に合わせて調整可能な、スケーラブルで誤差が制限された分解手法を採用する。
• 分解された行列に対して、分散環境における通信と負荷不均衡を最小限に抑える、プラットフォームに配慮したパーティショニング戦略を用いる。
• 2つの計算モデルを提供する：MPIを用いた行列ベースモデルと、GraphLabに基づく頂点中心モデルで、それぞれ異なるスパarsity状態に最適化されている。
• FISTAなどの反復的ソルバーと統合可能であり、因子分解されたデータ上でSGD や SCD などの確率的手法への拡張も可能である。
• 性能の上限と通信コストの分析を導出し、近似的に最適なスケーリングと、計算ノード数への依存性の低減を示している。

実験結果

リサーチクエスチョン

• RQ1 密度の高いデータセットに内在する低ランク構造を活用することで、分散反復学習における通信コストとメモリコストを削減できるか？
• RQ2 スパース行列因子分解をどのように効率的に計算・パーティショニングすれば、負荷のバランスを保ちつつデータ移動を最小限に抑えられるか？
• RQ3 分散環境における行列ベースモデルと頂点中心モデルの間で、性能のトレードオフはどのようなものか？
• RQ4 プラットフォームに配慮したスケジューリングとデータに配慮した変換は、実行時間、メモリ使用量、エネルギー効率をどの程度向上できるか？
• RQ5 大規模な密度の高いデータ上で、多様な反復的学習アルゴリズムをサポートする統合的でオープンソースのフレームワークを構築可能か？

主な発見

• 1.8 billion個の非ゼロ要素を含むデータセットにおいて、RankMapは、先行研究と比較して、メモリ使用量、実行時間、通信帯域幅を最大2桁削減した。
• 1.8 billion個の非ゼロ要素を含むデータセットの分解を、4台のIBM iDataPlexノードで15分未満で完了し、ライトフィールドパッチの再構築を20秒未塔で実現した。
• 行列ベースAPIは、オーバーヘッドが低いため、大多数のケースで頂点中心モデルを上回る性能を示したが、ブロック対角構造を持つ高ノード数環境では、グラフベースのモデルがより優れたスケーリングを示した。
• 長さ18kの10個のライトフィールドパッチについて、再構築時間は1000秒以上から20秒未塔に短縮され、事前分解コストが正当化されることを実証した。
• Amazon EC2およびIBM iDataPlexクラスタを用い、最大244コアを活用した環境でも、ベースライン手法と同等の学習精度を維持しながら、計算コストと通信コストを顕著に削減した。
• 行列モデルおよび頂点中心モデルの両方のオープンソースAPIは公開されており、FISTA、SGD、SCD などの標準的な最適化手法との統合をサポートしている。