[論文レビュー] Parallel Algorithm for Non-Monotone DR-Submodular Maximization

Alina Ene, Huy L. Nguyên|OpenBU (Boston University)|May 30, 2019

Complexity and Algorithms in Graphs参考文献 16被引用数 7

ひとこと要約

この論文は、基数制約の下で非単調な DR-下位単調関数を最大化するための新規な並列アルゴリズムを提示している。$1/e - \epsilon$ の近似比を達成するのに $O(\log n \log(1/\epsilon)/\epsilon^3)$ の並列ラウンドを要する。この手法は、適応的スレッショルド設定と勾配ベースの更新を組み合わせることで、ラウンド数を削減しつつ、既存の最良の逐次的近似保証を達成する。

ABSTRACT

In this work, we give a new parallel algorithm for the problem of maximizing a non-monotone diminishing returns submodular function subject to a cardinality constraint. For any desired accuracy $ε$, our algorithm achieves a $1/e - ε$ approximation using $O(\log{n} \log(1/ε) / ε^3)$ parallel rounds of function evaluations. The approximation guarantee nearly matches the best approximation guarantee known for the problem in the sequential setting and the number of parallel rounds is nearly-optimal for any constant $ε$. Previous algorithms achieve worse approximation guarantees using $Ω(\log^2{n})$ parallel rounds. Our experimental evaluation suggests that our algorithm obtains solutions whose objective value nearly matches the value obtained by the state of the art sequential algorithms, and it outperforms previous parallel algorithms in number of parallel rounds, iterations, and solution quality.

研究の動機と目的

• 基数制約の下での非単調な DR-下位単調最大化のための効率的な並列アルゴリズムの欠如に対処すること。
• 先行研究と比較して、並列ラウンド数を削減しつつも、強力な近似保証を維持すること。
• 並列環境下でも、$1/e - \epsilon$ の最良の既知の逐次的近似比を達成すること。
• 既存の並列アルゴリズムと比較して、解の品質を向上させるとともに反復回数を削減すること。
• 特徴選択やMAP推論などの時間的に重い応用分野におけるスケーラブルな最適化を可能にすること。

提案手法

• 活性変数集合のサイズを制御するための適応的スレッショルド設定を用いたマルチフェーズアプローチを採用する。
• 各ラウンドで勾配ベースの更新を適用し、関数値と勾配へのオракルアクセスを活用する。
• 定数倍（0.75）を用いた動的スレッショルド調整により、$1 - \epsilon$ の更新に代えて反復回数を削減する。
• 解ベクトル $\vec{z}$ を維持し、各ラウンドで限界利得と制約に基づいて並列に更新する。
• 各フェーズで活性集合のサイズを定数倍で減少させることで、対数的反復バウンディングを実現する。
• 各ラウンドで多項式回の関数評価を許容することで、適応性を最小限に抑え、高い並列性を達成する。

実験結果

リサーチクエスチョン

• RQ1 先行手法と比較して、より少ない並列ラウンド数で非単調な DR-下位単調最大化に対して $1/e - \epsilon$ の近似比を達成できる並列アルゴリズムは存在するか？
• RQ2 適応性の低減は、DR-下位単調最適化における解の品質と収束速度にどのように影響するか？
• RQ3 $1 - \epsilon$ の更新に代えて、定数倍のスレッショルド更新ルールを用いることで、近似保証を維持できるか？
• RQ4 非単調な DR-下位単調最大化において、並列ラウンド数と解の品質のトレードオフは何か？
• RQ5 実際の応用において、提案手法は最先端の逐次的および並列アルゴリズムと比較してどのように性能を発揮するか？

主な発見

• アルゴリズムは、基数制約の下で非単調な DR-下位単調関数最大化に対して $1/e - \epsilon$ の近似保証を達成した。
• 並列ラウンド数は $O(\log n \log(1/\epsilon)/\epsilon^3)$ であり、以前の $O(\log^2 n / \epsilon^2)$ のバウンディングと比較してほぼ二乗の改善を達成した。
• 定数 $\epsilon$ の場合、ラウンド数は $O(\log n)$ でほぼ最適であり、理論的下界に近い。
• 実験では、アルゴリズムは逐次的連続グリーディベースラインの95〜98％の解値を達成し、先行する並列手法を上回った。
• 最先端の並列乗法的重み更新アルゴリズムと比較して、顕著に少ない適応的評価回数を要し、計算コストを削減した。
• 積極的なスレッショルド更新（$v \leftarrow 0.75v$）を実装した結果、反復回数は $O(\log n \log(1/\epsilon)/\epsilon^2)$ に削減されつつも、近似品質は維持された。