[論文レビュー] The Power of Randomization: Distributed Submodular Maximization on Massive Datasets

Rafael da Ponte Barbosa, Alina Ene+2 more|arXiv (Cornell University)|Feb 9, 2015

Machine Learning and Algorithms参考文献 10被引用数 44

ひとこと要約

本稿では、大規模データセット上で、証明可能で定数倍の近似保証を達成する、分散型でランダム化された制約付きサブモジュラ最大化のアルゴリズムを提案する。このアルゴリズムは、単一マシンのメモリ容量を超えるデータセットに対しても、実用的に中央集権ベースラインを上回りながら理論的境界を維持する。多様な制約条件下で強力なスケーラビリティとほぼ最適な性能を示している。

ABSTRACT

A wide variety of problems in machine learning, including exemplar clustering, document summarization, and sensor placement, can be cast as constrained submodular maximization problems. Unfortunately, the resulting submodular optimization problems are often too large to be solved on a single machine. We develop a simple distributed algorithm that is embarrassingly parallel and it achieves provable, constant factor, worst-case approximation guarantees. In our experiments, we demonstrate its efficiency in large problems with different kinds of constraints with objective values always close to what is achievable in the centralized setting.

研究の動機と目的

• 単一マシンのメモリ容量を超える大規模データセットに対して、サブモジュラ最適化をスケーリングする課題に対処すること。
• 理論的近似保証を維持しながら、非常に並列化可能な分散アルゴリズムを設計すること。
• 多様な制約と実世界の機械学習ワークロードにおけるアルゴリズムのパフォーマンスを評価すること。
• 分散計算が中央集権的最適解に近い性能を達成できることを示すこと。

提案手法

• アルゴリズムはランダム化を用いて、グランドセットを複数のマシンに分割し、極めて並列な計算を可能にする。
• 各マシンは、局所的なサブセットを独立して処理し、サブモジュラ関数の最大化を近似的に実行するグリーディーに類似したアプローチを用いる。
• 画期的な分析フレームワークを用いて、基数制約やマトロイド制約などのさまざまな制約下での最悪ケース近似保証を確立する。
• ランダムサンプリングと分散グリーディー選択を組み合わせることで、精度とスケーラビリティのバランスを図る。
• アルゴリズムは通信効率が高く、マシン間のデータ転送を最小限に抑えるように設計されている。
• 理論的分析により、データセットサイズに依存しない定数倍の近似比が保証される。

実験結果

リサーチクエスチョン

• RQ1 分散アルゴリズムは、単一マシンに収まらない大規模データセット上で、サブモジュラ最大化に対して証明可能な近似保証を達成できるか？
• RQ2 提案手法の性能は、中央集権ベースラインと比較して、解の品質とスケーラビリティの面でどう異なるか？
• RQ3 基数制約やマトロイド制約などの異なる制約が、アルゴリズムの近似比と実行時間に与える影響は何か？
• RQ4 ランダム化は、分散サブモジュラ最適化において、高い並列性と強固な理論的保証の両方を実現可能か？

主な発見

• データセットが単一マシンに収まらない場合でも、中央集権的最適解に一貫して近く、解の品質を達成する。
• 理論的に、さまざまな制約下で定数倍の近似保証が維持される。
• 実験結果から、マシン数の増加に伴い効率的にスケーリングされ、通信オーバーヘッドが最小限であることが示された。
• 解の品質と収束速度の両面で、既存の分散ベースラインを上回る性能を示した。
• ランダム化により、効果的な負荷分散が実現され、分散実行におけるボトルネックを回避できた。
• 例示クラスタリング、ドキュメント要約、センサー配置など、多様な応用分野において、頑健な性能を発揮した。