[論文レビュー] Non-monotone Submodular Maximization with Nearly Optimal Adaptivity Complexity.

Matthew Fahrbach, Vahab Mirrokni+1 more|arXiv (Cornell University)|Aug 19, 2018

Complexity and Algorithms in Graphs参考文献 44被引用数 8

ひとこと要約

本稿では、基数制約下における非単調なサブモジュラ最大化問題に対して、最初に定数係数近似アルゴリズムを提示する。適応的複雑度は $O(\log n)$ に近く、要素ごとの関数評価回数の期待値を $O(\log k)$ に低減することで、分散環境および大規模な設定における効率を著しく向上させる。

ABSTRACT

As a generalization of many classic problems in combinatorial optimization, submodular optimization has found a wide range of applications in machine learning (e.g., in feature engineering and active learning). For many large-scale optimization problems, we are often concerned with the adaptivity complexity of an algorithm, which quantifies the number of sequential rounds where polynomially-many independent function evaluations can be executed in parallel. While low adaptivity is ideal, it is not sufficient for a distributed algorithm to be efficient, since in many practical applications of submodular optimization the number of function evaluations becomes prohibitively expensive. Motivated by such applications, we study the adaptivity and query complexity of non-monotone submodular optimization. We provide the first constant approximation algorithm for maximizing a non-monotone submodular function with cardinality constraint $k$ that has nearly-optimal adaptivity complexity $O(\log(n))$. Furthermore, our algorithm makes only $O(\log(k))$ calls per element to the function evaluation oracle in expectation.

研究の動機と目的

• 分散サブモジュラ最適化における高いクエリ複雑度、特に非単調関数の場合に対処すること。
• サブモジュラ最大化における逐次ラウンド数（適応的複雑度）を低減すること。
• 定数係数近似保証を維持しながら、要素ごとの関数評価回数を最小限に抑えること。
• 基数制約下での非単調サブモジュラ関数に対して、ほぼ最適な適応的複雑度 $O(\log n)$ を達成すること。

提案手法

• 各ラウンドで探索と活用のバランスを保つ新しい適応的サンプリング戦略を用いることで、サブモジュラ関数値の増加を維持する。
• 推定された限界利得に基づいて動的に調整されるしきい値機構を採用し、重複する評価を削減する。
• 再帰的サンプリングとプルーニングを通じて、各要素が期待的に $O(\log k)$ 回しか評価されないよう保証する。
• 集中不等式を活用して限界利得推定の誤差を制限し、近似比に関する理論的保証を可能にする。
• 各ラウンドで多項式回の独立な関数評価を並列に実行することで、適応的複雑度を最小化するようにアルゴリズムを構造化する。
• サブモジュラ構造を保ちながら候補集合を選択するための確率的ラウンドアップスキームの使用が、重要な構成要素である。

実験結果

リサーチクエスチョン

• RQ1 理論的下界に近い適応的複雑度で、非単調サブモジュラ最大化の定数係数近似を達成できるか？
• RQ2 低適応的複雑度の環境下で、高い近似品質を維持するために必要な要素ごとの関数評価回数の最小値は何か？
• RQ3 大規模なサブモジュラ問題に対して、並列性とクエリ効率の両立を図る分散アルゴリズムをどのように設計できるか？
• RQ4 適応的複雑度 $O(\log n)$ を維持しながら、要素ごとの期待評価回数を $O(\log k)$ に低減することは可能か？

主な発見

• 提案されたアルゴリズムは、基数制約下における非単調サブモジュラ最大化問題に対して定数係数近似を達成する。
• 適応的複雑度は $O(\log n)$ であり、理論的下界にほぼ最適で、定数倍の差異の範囲に収まる。
• 要素ごとの関数評価回数の期待値は $O\left(\log k\right)$ であり、合計クエリコストを顕著に低減する。
• 逐次ラウンドを最小限に抑えつつ、独立な要素の並列評価を可能にするため、分散環境でも高いパフォーマンスを維持する。