[論文レビュー] Distributed Coverage Maximization via Sketching

MohammadHossein Bateni, Hossein Esfandiari+1 more|arXiv (Cornell University)|Dec 7, 2016

Complexity and Algorithms in Graphs参考文献 27被引用数 6

ひとこと要約

本稿では、4ラウンドの通信で最適な近似保証（k-カバー問題では1−1/e、λ外れセットカバー問題ではlog(1/λ)）を達成する、適応的スケッチ技術を用いた分散アルゴリズムを提示する。この手法は、基底集合のサイズに依存しない部分線形空間計算量と、ほぼ最適な通信量を実現しており、大規模な特徴選択に効率的に適用可能である。理論的および実践的両面で先行研究を上回り、入力データに比べて30〜600倍も小さなスケッチで、ほぼ最先端の性能を達成している。

ABSTRACT

Coverage problems are central in optimization and have a wide range of applications in data mining and machine learning. While several distributed algorithms have been developed for coverage problems, the existing methods suffer from several limitations, e.g., they all achieve either suboptimal approximation guarantees or suboptimal space and memory complexities. In addition, previous algorithms developed for submodular maximization assume oracle access, and ignore the computational complexity of communicating large subsets or computing the size of the union of the subsets in this subfamily. In this paper, we develop an improved distributed algorithm for the $k$-cover and the set cover with $λ$ outliers problems, with almost optimal approximation guarantees, almost optimal memory complexity, and linear communication complexity running in only four rounds of computation. Finally, we perform an extensive empirical study of our algorithms on a number of publicly available real data sets, and show that using sketches of size $30$ to $600$ times smaller than the input, one can solve the coverage maximization problem with quality very close to that of the state-of-the-art single-machine algorithm.

研究の動機と目的

• カバレッジ問題における高い通信量、悪い空間計算量、または部分的な近似保証といった、先行研究の分散サブモジュラ最大化アルゴリズムの限界を克服する。
• k-カバーおよびλ外れ付きセットカバー問題に対して、最適な近似比を達成するとともに、ラウンド数と空間使用量を最小限に抑える分散アルゴリズムを開発する。
• 大規模データセットにおける価値オракルアクセスの非効率性を克服するため、全サブセットをマシン間で転送するのを避けるスケッチベースの手法を導入する。
• MapReduceおよびRAMモデルでの実用的導入を可能にし、非常に大きな集合と基底集合を扱う現実世界のワークロードをサポートする。
• 大規模な特徴選択への適用を示し、極めて小さなスケッチサイズで高品質な結果を達成することを実証する。

提案手法

• 完全な集合の転送を必要とせず、カバレッジ関数の効率的な分散計算を可能にする、適応的サンプリングおよびスケッチ技術を提案する。
• 入力集合の確率的スケッチを用いて、和集合のサイズを推定することで、空間計算量と通信量を削減しながらも近似保証を維持する。
• スケッチ構築、局所計算、グローバル集約を統合した4ラウンドの分散アルゴリズムを設計し、近似的に最適な解を計算する。
• スケーラブルなデータ処理を可能にするために、MapReduceおよびRAMモデルの両方でアルゴリズムを実装し、ランダムアクセスおよび分散ハッシュテーブルをサポートする。
• スケッチおよび近似メカニズムを調整することで、重み付きカバレッジおよび支配集合問題に対応するフレームワークを拡張する。
• 特徴ペアを要素、特徴を集合としてモデル化することで、スケッチアプローチを効率的な特徴選択に活用する。

実験結果

リサーチクエスチョン

• RQ1 k-カバーおよびλ外れ付きセットカバー問題に対して、通信量と空間計算量を最小限に抑えつつ、最適な近似比を達成する分散アルゴリズムを設計できるか？
• RQ2 高価な価値オラクルアクセスを、マシン間で大規模なサブセットを転送しないスケッチベースの手法に置き換えることは可能か？
• RQ3 従来の対数的ラウンド数を要するアルゴリズムとは異なり、4ラウンドの通信で適応的スケッチ技術が近似的に最適な性能を達成できるか？
• RQ4 大規模データセットにおいて、解の品質を単一マシンのグリーディアルゴリズムとほぼ同等に保ちながら、スケッチをどれほど小さくできるか？
• RQ5 提案されたスケッチフレームワークは、高次元データを扱う現実世界の特徴選択タスクに効果的に適用可能か？

主な発見

• 提案されたアルゴリズムは、k-カバー問題で1−1/e、λ外れセットカバー問題でlog(1/λ)の最適な近似比を達成し、理論的上限に一致する。
• 入力サイズの0.1%〜10%のスケッチサイズで、livej-2 や planted-A といった実データセットにおいて、単一マシンのグリーディアルゴリズムの96%〜99.9%の品質を達成した。
• livej-2 データセットでは、0.8%のスケッチ容量で10%のサンプルとほぼ同一の品質を達成し、0.3%の容量ではわずか1%の損失にとどまった。
• news20 データセットにおける特徴選択では、k=2500の特徴で91.2%の予測精度を達成し、先行する分散手法を上回り、最先端の結果と同等またはそれを上回った。
• 通信はわずか4ラウンドで実行され、従来の対数的ラウンド数を要するアプローチと比べて著しく遅延を低減した。
• 空間計算量はO(n)、通信計算量はÕ(n)であり、基底集合サイズmに依存しないため、非常に多数の要素を含むデータセットへのスケーラビリティが可能となった。