[論文レビュー] Optimal Algorithms for Continuous Non-monotone Submodular and DR-Submodular Maximization

Rad Niazadeh, Tim Roughgarden+1 more|arXiv (Cornell University)|May 24, 2018

Complexity and Algorithms in Graphs参考文献 7被引用数 23

ひとこと要約

本稿は、各座標ごとの新しいゼロサムゲーム定式化を用いて、ハイパーキューブ上での連続的非単調なサブモジュラ最大化に対する、初めての最適な 1/2-近似アルゴリズムを提示する。DR-サブモジュラ関数に対しては、単調な均衡条件の二分探索を用いた準線形時間の 1/2-近似アルゴリズムを導入し、近似保証と効率性の両面で先行研究を改善する。

ABSTRACT

In this paper we study the fundamental problems of maximizing a continuous non-monotone submodular function over the hypercube, both with and without coordinate-wise concavity. This family of optimization problems has several applications in machine learning, economics, and communication systems. Our main result is the first $\frac{1}{2}$-approximation algorithm for continuous submodular function maximization; this approximation factor of $\frac{1}{2}$ is the best possible for algorithms that only query the objective function at polynomially many points. For the special case of DR-submodular maximization, i.e. when the submodular functions is also coordinate wise concave along all coordinates, we provide a different $\frac{1}{2}$-approximation algorithm that runs in quasilinear time. Both of these results improve upon prior work [Bian et al, 2017, Soma and Yoshida, 2017]. Our first algorithm uses novel ideas such as reducing the guaranteed approximation problem to analyzing a zero-sum game for each coordinate, and incorporates the geometry of this zero-sum game to fix the value at this coordinate. Our second algorithm exploits coordinate-wise concavity to identify a monotone equilibrium condition sufficient for getting the required approximation guarantee, and hunts for the equilibrium point using binary search. We further run experiments to verify the performance of our proposed algorithms in related machine learning applications.

研究の動機と目的

• ハイパーキューブ上での連続的非単調サブモジュラ最大化に対する、初めての最適な 1/2-近似アルゴリズムの開発。
• 座標ごとの凹性を活用した、DR-サブモジュラ最大化における準線形時間の 1/2-近似アルゴリズムの設計。
• 連続的サブモジュラ最適化における近似比と実行時間効率の両面で、先行研究を改善すること。
• 非凸二次プログラミングやDPP MAP推論を含む、実世界の機械学習応用におけるアルゴリズムの性能を検証すること。

提案手法

• 各座標に対してゼロサムゲームの分析に帰着させ、最適値を固定するためにゲーム幾何学を活用する。
• 座標ごとの最適化を組み込んだダブル・グリーディフレームワークを用い、微分と凹包を数値計算で統合する。
• DR-サブモジュラ関数に対しては、1/2-近似に十分な単調な均衡条件を同定し、その効率的な特定に二分探索を用いる。
• 多項式クエリ複雑度を満たすブラックボックスオракルモデルを採用し、スケーラビリティと理論的保証を確保する。
• サブモジュラリティ、座標ごとの凹性、積分バウンドを組み合わせた新しい解析技術を導入し、近似比を証明する。
• 数値微分と一次元最適化器を用いてアルゴリズムを実装し、合成データおよび実データで検証する。

実験結果

リサーチクエスチョン

• RQ1 多項式的関数クエリ数に制限される条件下で、連続的非単調サブモジュラ最大化に対して 1/2-近似アルゴリズムを達成できるか？
• RQ2 座標ごとの凹性を用いて、DR-サブモジュラ最大化に対して準線形時間の 1/2-近似アルゴリズムを達成できるか？
• RQ3 実世界の機械学習タスクにおいて、Bi-Greedy などの既存ベースラインと比較して、提案アルゴリズムの実用的性能はどのように異なるか？
• RQ4 多項式クエリ複雑度の下で、連続的サブモジュラ最大化の理論的近似限界は何か？
• RQ5 提案手法は、任意の分離可能な凸集合への最適化へ一般化可能か？

主な発見

• 提案アルゴリズムは、多項式クエリ複雑度の下で、連続的非単調サブモジュラ最大化に対して 1/2-近似を達成し、これが最適である。
• DR-サブモジュラ関数に対しては、準線形時間で実行されつつ、1/2-近似保証を維持する。
• 非凸二次プログラミングおよびDPP MAP推論における実験では、GAME、BINARY、BMBK がほぼ同一の目的関数値を達成し、20回の試行における平均偏差は1未満であった。
• 弱DR NQP 実験では、四分位範囲が約10であったが、3つのアルゴリズムの平均値の差は1未満であった。
• 理論的解析により、多項式クエリアクセスを持つアルゴリズムにおいて、1/2-近似がタイトであることが証明され、最適性が確認された。
• ゼロサムゲーム解析と単調均衡検出の活用により、強い凸性や滑らかさを仮定せずとも、証明可能な近似保証が得られた。