[論文レビュー] Best of Both Worlds: Practical and Theoretically Optimal Submodular Maximization in Parallel

Yixin Chen, Tonmoy Dey+1 more|arXiv (Cornell University)|Nov 15, 2021

Complexity and Algorithms in Graphs被引用数 8

ひとこと要約

本稿では、基数制約下における単調なサブモジュラ最大化のための新規並列アルゴリズムであるLS+PGBを提示する。このアルゴリズムは、クエリ複雑度（期待的にO(n)）、適応性（O(log n)）、近似比（ほぼ1−1/e）において理論的最適性を達成するとともに、実際の性能において従来の最先端手法であるFASTを上回る。この手法は、前処理手順（LinearSeq）と並列化可能なしきい値処理手順（ThresholdSeq）を組み合わせており、強固な理論的保証と、6つの多様なサブモジュラ目的関数における優れた実験的性能を両立している。

ABSTRACT

For the problem of maximizing a monotone, submodular function with respect to a cardinality constraint $k$ on a ground set of size $n$, we provide an algorithm that achieves the state-of-the-art in both its empirical performance and its theoretical properties, in terms of adaptive complexity, query complexity, and approximation ratio; that is, it obtains, with high probability, query complexity of $O(n)$ in expectation, adaptivity of $O(\log(n))$, and approximation ratio of nearly $1-1/e$. The main algorithm is assembled from two components which may be of independent interest. The first component of our algorithm, LINEARSEQ, is useful as a preprocessing algorithm to improve the query complexity of many algorithms. Moreover, a variant of LINEARSEQ is shown to have adaptive complexity of $O( \log (n / k) )$ which is smaller than that of any previous algorithm in the literature. The second component is a parallelizable thresholding procedure THRESHOLDSEQ for adding elements with gain above a constant threshold. Finally, we demonstrate that our main algorithm empirically outperforms, in terms of runtime, adaptive rounds, total queries, and objective values, the previous state-of-the-art algorithm FAST in a comprehensive evaluation with six submodular objective functions.

研究の動機と目的

• 理論的に最適だが実用的でないサブモジュラ最大化アルゴリズムと、実用的ではあるが理論的に弱いアルゴリズム（例：FAST）の間のギャップを埋めること。
• 同時に理論的複雑度（クエリ数、適応性）を最適化し、実験的性能も優れた並列アルゴリズムを設計すること。
• 画像要約、ネットワーク監視、インフルエンサー最大化などの大規模応用に適した効率的かつスケーラブルなサブモジュラ最適化を可能にすること。
• 理論的保証は強いが実用的導入を妨げる高コスト要因を伴うサンプリングベースのアルゴリズムの定数要因を低減すること。
• 理論的最適性と実用的効率性が、サブモジュラ最大化において互いに排他的ではないことを示すこと。

提案手法

• アルゴリズムは2つのコンponentから構成される：クエリ効率を向上させ、O(log(n/k))の適応的複雑度を達成する前処理ルーチンであるLinearSeq、および一定のしきい値を超えるマージナルゲインを持つ要素を追加する並列可能でしきい値処理を行うThresholdSeq。
• LinearSeqは反復的に低ゲイン要素を特定・削除することで、有効なグランドセットのサイズを縮小し、その後続のクエリ数を削減する。
• ThresholdSeqは並列ラウンドで動作し、各ラウンドで固定しきい値を超えるゲインを持つ要素を評価する。これにより、高品質な追加が保証されつつ、適応的複雑度は低く保たれる。
• LS+PGBという全体のアルゴリズムは、LinearSeqとThresholdSeqを統合することで、理論的保証と実用的効率性のバランスを図り、低クエリ数・低適応的複雑度でほぼ最適な近似比を達成する。
• 先行研究の適応的シーケンシング技術を活用しているが、それらを最適化することで、以前のバージョンの二次関数的クエリ複雑度を回避し、スケーラビリティを実現している。
• 理論的分析により、LS+PGBがO(n)の期待クエリ複雑度、O(log n)の適応性、および高確率で(1−1/e)−εの近似比を達成することが示された。

実験結果

リサーチクエスチョン

• RQ1 クエリ複雑度、適応性、近似比において理論的最適性を同時に達成するとともに、大規模応用において実用的であるアルゴリズムを設計可能か？
• RQ2 理論的保証を損なわずに、理論的最適性を持つサンプリングベースのアルゴリズムの高コスト要因を低減可能か？
• RQ3 前処理としきい値処理を組み合わせたハイブリッドアプローチが、サブモジュラ最大化において理論的最適性と優れた実験的性能の両立を可能にするか？
• RQ4 特にkが小さい場合に、LinearSeqの適応的複雑度は既存手法と比較してどうか？
• RQ5 多様な実世界のサブモジュラ目的関数において、LS+PGBは、実行時間、総クエリ数、適応性の面でFASTをどの程度上回るか？

主な発見

• LS+PGBは、期待クエリ複雑度O(n)、適応性O(log n)、近似比が高確率でほぼ1−1/eを達成し、最良の理論的境界と一致する。
• LinearSeqコンponentはO(log(n/k))の適応的複雑度を達成しており、文献に登場するいかなる既存アルゴリズムよりも低い。
• 実験的評価において、LS+PGBはすべての指標でFASTを上回った：MaxCoverでは最大6%、TwitterSummでは5%高い目的関数値を達成し、MaxCoverおよびTwitterSummではクエリ数が半分未満、平均して実行時間も半分未満であった。
• TwitterSummアプリケーションでは、LS+PGBはFASTの4倍以上高速であり、1〜64スレッドにスケーリングする際の平均スピードアップはFASTの10倍にのぼった。
• MaxCoverおよびTwitterSummにおいて、kが大きい値の場合、LS+PGBは適応的ラウンド数をFASTよりも50%以上削減し、並列処理の優位性を示した。
• FahrbachらのBinarySearchMaximizationと比較して、LS+PGBはクエリ数を約1桁減少させ、同程度の速度向上を達成した。両者とも強い理論的保証を持つが、LS+PGBはより優れた性能を示した。