[論文レビュー] The FAST Algorithm for Submodular Maximization

Adam Breuer, Eric Balkanski+1 more|arXiv (Cornell University)|Jul 14, 2019

Complexity and Algorithms in Graphs参考文献 27被引用数 11

ひとこと要約

この論文は、基数制約下での単調なサブモジュラ最大化のための新規な並列アルゴリズムFastを紹介する。このアルゴリズムは、$\mathcal{O}(\log n \log^2 \log k)$ の適応性と $\mathcal{O}(n \log \log k)$ の合計クエリ数を用いて、$1-1/e$ に限りなく近い近似比を達成する。アルゴリズムは実際の応用において、従来の手法を著しく上回り、大規模データセット上でのクエリ数と実行時間を桁違いに削減するが、効率的な適応的サンプリングとデルタ推定ヒューリスティクスにより、強固な理論的保証を維持している。

ABSTRACT

In this paper we describe a new algorithm called Fast Adaptive Sequencing Technique (FAST) for maximizing a monotone submodular function under a cardinality constraint $k$ whose approximation ratio is arbitrarily close to $1-1/e$, is $O(\log(n) \log^2(\log k))$ adaptive, and uses a total of $O(n \log\log(k))$ queries. Recent algorithms have comparable guarantees in terms of asymptotic worst case analysis, but their actual number of rounds and query complexity depend on very large constants and polynomials in terms of precision and confidence, making them impractical for large data sets. Our main contribution is a design that is extremely efficient both in terms of its non-asymptotic worst case query complexity and number of rounds, and in terms of its practical runtime. We show that this algorithm outperforms any algorithm for submodular maximization we are aware of, including hyper-optimized parallel versions of state-of-the-art serial algorithms, by running experiments on large data sets. These experiments show FAST is orders of magnitude faster than the state-of-the-art.

研究の動機と目的

• 理論的に効率的なサブモジュラ最大化アルゴリズムと、その非効率な実装との間のギャップを是正すること。これは、漸近的解析における大きな定数や多項式的依存性に起因する。
• 強力な理論的保証を維持しながら、非漸近的クエリ複雑度とラウンド数を著しく削減する、実用的で高速な並列アルゴリズムを設計すること。
• 大規模データセット上での実行時間とクエリ効率の両面で、既存の最先端のアルゴリズム（ハイパーチューニングされたシリアル版および並列版）を上回ること。
• 機械学習およびデータマイニング分野におけるサブモジュラ最適化の実世界での導入を可能にするために、解の品質を損なわずに計算のオーバーヘッドを最小限に抑えること。

提案手法

• アルゴリズムは、最適値 $\delta$ のために $n$ 個の等間隔の推定値を使用する、新しいデルタ推定戦略を用いた適応的サンプリングを採用しており、マルチライニア拡張クエリの回数を削減する。
• 複数のプロセッサが同時にマージナルゲインを評価できる高速で並列的なアーキテクチャを採用しており、失敗時にはコストが発生しないラージ更新を実装することで、失敗時にも実行時間にペナルティを負わない。
• 反復ごとに閾値 $\delta$ を動的に調整し、実行可能である場合にのみ増加させることで、収束を加速しながらも解の品質を維持する。
• 2段階のアプローチを採用している：まず、$k$ 個の最高のシングルトン値の和を用いて、OPTのタイトな上界を推定し、次にその上界をもとに効率的なサンプリングと選択をガイドする。
• 適応的サンプリングと非均等で大きなステップサイズ（$1/n$）を用いた $\delta$ の推定値を組み合わせることで、両方のラウンド数と合計クエリ数を最小限に抑える。
• 標準的な確率的グリーディとは比較して遅くならないように最適化された、カスタム並列実装のLazier-than-Lazy-Greedy（Parallel-LTLG）をベンチマークとして使用している。

実験結果

リサーチクエスチョン

• RQ1 実践的に、最先端の理論的アルゴリズムよりも著しく少ないクエリ数とラウンド数で、$1-1/e$ に限りなく近い近似比を達成できるサブモジュラ最大化アルゴリズムは存在するか？
• RQ2 適応的サンプリングと閾値設定技術を最適化することで、並列サブモジュラ最適化における理論的および実践的オーバーヘッドをどのように削減できるか？
• RQ3 ステップサイズ（$\delta$-推定のため）などのヒューリスティックな選択が、解の品質を劣化させることなく実行時間にどれほど良い影響を与えるか？
• RQ4 ラージ更新が失敗しても、常にベースライン手法より高速化を保証できるような並列アルゴリズムを設計できるか？
• RQ5 Fastの性能は、実世界の大規模データセット上での理論的アルゴリズムおよび既存手法のハイパーチューニング済み実装と比べて、どのように差をつけるか？

主な発見

• Fastは、$\mathcal{O}(\log n \log^2 \log k)$ の適応性と $\mathcal{O}(n \log \log k)$ の合計クエリ数を用いて、$1-1/e$ に限りなく近い近似比を達成し、非漸近的観点から従来の理論的境界を著しく改善した。
• $n=500$ のWatts-Strogatzグラフ上での実験では、Fastは0.051秒で完了した。これに対し、Amortized-Filteringは0.58秒、Randomized-Parallel-Greedyは1.36秒、Exhaustive-Maximizationは55.14秒を要した。
• Fastは2,497クエリしか使用しなかったが、Amortized-Filteringは35,471、Exhaustive-Maximizationは4,845,205クエリを要しており、クエリ複雑度の顕著な削減が確認された。
• ラウンド数は18にまで削減されたのに対し、Amortized-Filteringは540、Exhaustive-Maximizationは12,806ラウンドを要しており、並列適応性の高さが顕著に現れた。
• 実験セット2の8回の実験のうち7回で、Fastはシリアル版LTLGよりも少ないクエリ数を使用した。また、クエリ数が同等であっても、各ラウンドでの並列性が高いため、実行時間が速かった。
• $1/n$ 間隔の $\delta$-推定値の使用により、反復回数が削減され、過剰な小値チェックが回避された。その結果、幾何的間隔の10倍の高速化が達成され、実用的性能が向上した。