[論文レビュー] Distributed Submodular Maximization

Baharan Mirzasoleiman, Amin Karbasi+2 more|arXiv (Cornell University)|Nov 3, 2014

Privacy-Preserving Technologies in Data参考文献 47被引用数 3

ひとこと要約

この論文では、分散型のサブモジュラー関数最大化のためのGreeDiを提案する。MapReduce環境においてスケーラブルかつ近似的に最適な解を得ることを可能にする。データを分割し、証明可能な近似保証を持つ2段階のグリーディに似たプロセスを適用することで、エキジンプラクラスタリングやスパースガウス過程の規模の大きなデータセット（数千万点）において、集中型グリーディ法の98%の性能を達成する。

ABSTRACT

Many large-scale machine learning problems--clustering, non-parametric learning, kernel machines, etc.--require selecting a small yet representative subset from a large dataset. Such problems can often be reduced to maximizing a submodular set function subject to various constraints. Classical approaches to submodular optimization require centralized access to the full dataset, which is impractical for truly large-scale problems. In this paper, we consider the problem of submodular function maximization in a distributed fashion. We develop a simple, two-stage protocol GreeDi, that is easily implemented using MapReduce style computations. We theoretically analyze our approach, and show that under certain natural conditions, performance close to the centralized approach can be achieved. We begin with monotone submodular maximization subject to a cardinality constraint, and then extend this approach to obtain approximation guarantees for (not necessarily monotone) submodular maximization subject to more general constraints including matroid or knapsack constraints. In our extensive experiments, we demonstrate the effectiveness of our approach on several applications, including sparse Gaussian process inference and exemplar based clustering on tens of millions of examples using Hadoop.

研究の動機と目的

• 機械学習における巨大なデータセットのための集中型サブモジュラー最適化のスケーラビリティの限界を解決する。
• 基数制約、マトロイド制約、ナップサック制約の下で、強力な理論的近似保証を維持する分散アルゴリズムを開発する。
• 実世界の応用（例：エキジンプラクラスタリングやアクティブセット選択）において、Hadoop や MapReduce スタイルのシステムへの実用的導入を可能にする。
• 理論的分析により、自然なデータ分割と近隣条件の下で、GreeDiが集中型グリーディアルゴリズムに非常に近い性能を達成することを示す。
• 数十万点のデータセットにおいて、通信量を最小限に抑えながら、近似的に最適な結果を達成する、実験的有効性を示す。

提案手法

• 並列処理を可能にするために、ランダム割り当てを用いてデータセットをm個の互いに素な部分集合に分割する。
• 各部分集合に対して、ブラックボックス型サブモジュラー最適化アルゴリズムを独立して適用し、局所的解を計算する。
• 2段階プロトコルを用いる：まず、各マシンで局所的解を計算する。次に、グローバルな近似戦略を用いて結果を統合・最適化する。
• 局所的置換可能性と近隣密度の概念を活用し、部分集合内の実行可能解がグローバル最適解に近いことを保証する。
• 近隣のサイズに関する確率的バウンドと制約下での解の実行可能性を用いて、近似保証を証明する。
• サンプリングと分割技術を用いて、非単調サブモジュラー関数およびマトロイドやナップサックといった一般の制約を扱えるようにフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 基数制約の下で、分散アルゴリズムが集中型サブモジュラー最大化と競合可能な近似保証を達成できるか？
• RQ2 理論的性能保証を損なわずに、MapReduce環境でサブモジュラー最大化を効果的に並列化できるか？
• RQ3 データ分割と近隣構造にどのような条件が課されると、局所的解がグローバル最適解に近づくか？
• RQ4 このアプローチは、非単調サブモジュラー関数およびマトロイドやナップサックといった複雑な制約へ拡張可能か？
• RQ5 実世界の機械学習タスクにおいて、巨大なデータセットを扱う際、このアルゴリズムは実際のスケーリングにどの程度効果的か？

主な発見

• エキジンプラクラスタリングにおいて、数千万点のデータセットでGreeDiは集中型グリーディアルゴリズムの目的関数値の98%を達成する。
• スパースガウス過程のアクティブセット選択において、同様に97%の集中型解の品質に到達する。
• グラフカット探索においては、最適値の90%を達成し、多様な応用分野におけるロバストネスを示す。
• 理論的分析により、局所的置換可能性と十分な近隣密度の下で、アルゴリズムが定数倍の近似保証を維持することが証明される。
• ランダムなデータ分割に対しても性能が安定しており、高確率で少なくとも1つの部分集合が最適解に近い解を含むことが保証される。
• データサイズに応じて効率的にスケーリングされ、通信量が最小限に抑えられるため、Hadoopなどの大規模分散システムに適している。