[論文レビュー] Non-monotone Submodular Maximization with Nearly Optimal Adaptivity and Query Complexity

Matthew Fahrbach, Vahab Mirrokni+1 more|arXiv (Cornell University)|Aug 19, 2018

Complexity and Algorithms in Graphs被引用数 17

ひとこと要約

本稿では、ほぼ最適な適応性とクエリ複雑性を備えた基数制約下での非単調なサブモジュラ最大化に対する、最初の定数係数近似アルゴリズムを提示する。期待値として $(0.039 - \varepsilon)$-近似を $O(\log n / \varepsilon)$ の適応ラウンドで達成し、$O(n \log k / \varepsilon^2)$ の期待クエリ数を用いる。大規模な機械学習応用における効率性を向上させるために、修正されたしきい値サンプリングと非制約最大化技術を組み合わせた。

ABSTRACT

Submodular maximization is a general optimization problem with a wide range of applications in machine learning (e.g., active learning, clustering, and feature selection). In large-scale optimization, the parallel running time of an algorithm is governed by its adaptivity, which measures the number of sequential rounds needed if the algorithm can execute polynomially-many independent oracle queries in parallel. While low adaptivity is ideal, it is not sufficient for an algorithm to be efficient in practice -- there are many applications of distributed submodular optimization where the number of function evaluations becomes prohibitively expensive. Motivated by these applications, we study the adaptivity and query complexity of submodular maximization. In this paper, we give the first constant-factor approximation algorithm for maximizing a non-monotone submodular function subject to a cardinality constraint $k$ that runs in $O(\log(n))$ adaptive rounds and makes $O(n \log(k))$ oracle queries in expectation. In our empirical study, we use three real-world applications to compare our algorithm with several benchmarks for non-monotone submodular maximization. The results demonstrate that our algorithm finds competitive solutions using significantly fewer rounds and queries.

研究の動機と目的

• 適応ラウンドと総オракルクエリ数の両方を最小限に抑える非単調サブモジュラ最大化の分散アルゴリズムを開発すること。
• 先行研究と比較して、顕著に適応性とクエリ複雑性を低減しつつ、定数係数近似保証を達成すること。
• オーガナイズ評価が高価で、通信ラウンド数に制限がある大規模な機械学習における実用的制限を解決すること。
• 低適応性と低クエリ数の両立を図る手法を設計し、計算コストの高い実世界の応用に適したものとすること。

提案手法

• Fahrbachら（2019）の修正されたしきい値サンプリングサブルーチンを適応的に組み合わせ、候補プールがしきい値未満に小さくなった時点で早期終了する。
• Chenら（2019）の非制約サブモジュラ最大化アルゴリズムを統合し、非単調性に対処するとともに近似品質を向上させる。
• 二段階戦略を採用：第一段階では $O(\log n / \varepsilon)$ ラウンドでしきい値サンプリングにより高価値要素を特定する。第二段階では、選択されたサブセットに対して非制約最大化を適用する。
• しきい値サンプリングにおける動的停止条件を用い、各要素が少なくとも定数確率で選ばれないように保証することで、定数係数近似を実現する。
• サンプリングの早期終了により、ラウンド数とクエリ数の両方が削減されつつ、近似品質に影響を与えないことを活用する。
• 確率的サンプリングと適応的クエリスケジューリングを用いて、逐次的依存関係を最小限に抑えつつ、高い解の品質を維持する。

実験結果

リサーチクエスチョン

• RQ1 非単調サブモジュラ最大化に対して、ほぼ最適な適応性複雑性を備えた定数係数近似アルゴリズムを設計できるか？
• RQ2 低適応性下で定数係数近似を達成するために必要な最小クエリ数は何か？
• RQ3 しきい値サンプリングを非単調関数に対応させるためにどのように修正できるか？ また、近似保証を維持できるか？
• RQ4 しきい値サンプリングと非制約最大化の組み合わせにより、ラウンド数とクエリ数が少ない実用的なアルゴリズムが得られるか？
• RQ5 オーガナイズクエリが高価な実世界の応用において、このアルゴリズムは既存のベンチマークをどの程度上回るか？

主な発見

• 提案されたアルゴリズムは、基数制約下での非単調サブモジュラ最大化に対して、期待値として $(0.039 - \varepsilon)$-近似を達成する。
• 適応ラウンド数は $O(\log n / \varepsilon)$ であり、既知の下界に従えば $\Theta(\log \log n)$ 要因の誤差を除いて最適である。
• 期待クエリ数は $O(n \log k / \varepsilon^2)$ であり、これはほぼ最適であり、先行手法と比較して顕著に低い。
• 画像要約タスクでは、Adaptive-Nonmonotone-Max は Random や Fantom よりも優れており、特にクエリ効率面で顕著なクエリコストの低減が見られる。
• 映画推薦および収益最大化タスクにおいて、アルゴリズムはベンチマークと同等の解を得つつ、著しく少ないラウンド数とクエリ数を要する。
• アルゴリズムの早期終了メカニズムにより、候補プールは速やかに $3k$ 未満に減少し、その後の1ラウンドで効率的な最終選択が可能になる。