[論文レビュー] Continuous DR-submodular Maximization: Structure and Algorithms

An Bian, Kfir Y. Levy+2 more|arXiv (Cornell University)|Nov 4, 2017

Complexity and Algorithms in Graphs参考文献 37被引用数 10

ひとこと要約

本稿では、一般の下閉凸制約の下で非単調連続DR下位単調関数を最大化するための2つの新規アルゴリズムを提案する。停留点とグローバル最適解との間の幾何的性質を確立し、1/4近似保証を持つ二段階Frank-Wolfe法と、1/e近似保証と非線形収束を示す非単調Frank-Wolfeの変種を導入する。両者とも、明示的な性能保証を有する。

ABSTRACT

DR-submodular continuous functions are important objectives with wide real-world applications spanning MAP inference in determinantal point processes (DPPs), and mean-field inference for probabilistic submodular models, amongst others. DR-submodularity captures a subclass of non-convex functions that enables both exact minimization and approximate maximization in polynomial time. In this work we study the problem of maximizing non-monotone DR-submodular continuous functions under general down-closed convex constraints. We start by investigating geometric properties that underlie such objectives, e.g., a strong relation between (approximately) stationary points and global optimum is proved. These properties are then used to devise two optimization algorithms with provable guarantees. Concretely, we first devise a "two-phase" algorithm with $1/4$ approximation guarantee. This algorithm allows the use of existing methods for finding (approximately) stationary points as a subroutine, thus, harnessing recent progress in non-convex optimization. Then we present a non-monotone Frank-Wolfe variant with $1/e$ approximation guarantee and sublinear convergence rate. Finally, we extend our approach to a broader class of generalized DR-submodular continuous functions, which captures a wider spectrum of applications. Our theoretical findings are validated on synthetic and real-world problem instances.

研究の動機と目的

• 一般の下閉凸制約の下で非単調連続DR下位単調関数を最大化するための保証付きアルゴリズムの欠如に対処する。
• DR下位単調関数の背後にある幾何的構造、特に停留点とグローバル最適解との関係を調査する。
• この一般クラスの非凸問題に対して、保証付き近似保証を有する効率的な最適化アルゴリズムを開発する。
• 錐ラティス上の一般化DR下位単調関数に枠組みを拡張し、非負のPCAや非凸正則化ロジスティック回帰などのより広範な応用をモデル化する。
• 合成的および実世界のインスタンス、特にDPPのソフトマックス拡張および平均場推論問題に対して理論的知見を実証的に検証する。

提案手法

• 既存の近似的停留点探索手法をサブルーチンとして用いる二段階Frank-Wolfe風アルゴリズムを導入し、1/√k収束速度で1/4近似保証を達成する。
• 非単調Frank-Wolfeの変種を提案し、DR下位単調性の構造を活用して1/e近似保証と非線形収束を達成する。
• 停留点における目的関数値とグローバル最適解との差に理論的境界を確立し、強いDR下位単調性下ではよりタイトな境界が得られることを示す。
• 錐ラティス上の一般化DR下位単調関数のクラスを定義・分析し、非負のPCAや非凸正則化ロジスティック回帰などの応用を可能にする。
• 一般化DR下位単調問題を標準的連続下位単調最適化問題に還元する技術を提供し、既存のソルバの利用を可能にする。
• 制約付き最適化における非停留性の概念とDR性質を用いて、収束性および近似保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 連続DR下位単調最大化において、停留点とグローバル最適解を結ぶ幾何的性質は何か？
• RQ2 一般の下閉凸制約の下で、非単調連続DR下位単調最大化のための保証付き収束アルゴリズムを設計できるか？
• RQ3 このような問題に対して達成可能な近似保証は何か？ また、単調またはボックス制約付き設定での既知の境界と比較するとどうなるか？
• RQ4 この枠組みを、標準的DR下位単調関数を超えるより広範な非凸最適化問題のクラスをモデル化するためにどのように拡張できるか？
• RQ5 特にDPPや平均場推論の応用において、合成的および実世界のインスタンスで期待される実験的性能は何か？

主な発見

• 本稿では、停留点における目的関数値とグローバル最適解との差が有界であることを証明し、強いDR下位単調性下ではよりタイトな境界が得られることを示した。
• 二段階Frank-Wolfe法は1/4近似保証を達成し、収束速度がO(1/√k)であることを示した。
• 非単調Frank-Wolfeの変種は1/e近似保証を達成し、非線形収束を示した。これは1/4の境界を上回る改善を示している。
• 理論的分析により、停留点がグローバル最適解に近く、非凸最適化サブルーチンの有効な活用が可能であることが示された。
• 一般化DR下位単調フレームワークにより、非負のPCAや非凸正則化ロジスティック回帰といった複雑な応用を、標準的下位単調最適化問題への還元によりモデル化可能である。
• 合成的および実世界のインスタンス、特にDPPのソフトマックス拡張に対して得られた実験的結果は、提案アルゴリズムの有効性を確認しており、テストされた設定では二段階Frank-Wolfe法が優れた性能を示した。