[論文レビュー] Non-monotone Continuous DR-submodular Maximization: Structure and Algorithms

An Bian, Kfir Y. Levy+2 more|arXiv (Cornell University)|Jan 1, 2017

Complexity and Algorithms in Graphs被引用数 7

ひとこと要約

本稿では、下閉じ凸制約の下で非単調DR-下位単調連続関数を最大化するための2つのアルゴリズムを提案する。1つは1/4の近似保証を持つ2段階法であり、もう1つは1/eの近似保証と非線形収束を達成する非単調フランク・ウォルフの変種である。停留点と最適解との間の幾何的性質を確立し、これにより既存の非凸最適化手法を用いた保証可能かつ明示的な結果を得ることが可能になる。

ABSTRACT

DR-submodular continuous functions are important objectives with wide real-world applications spanning MAP inference in determinantal point processes (DPPs), and mean-field inference for probabilistic submodular models, amongst others. DR-submodularity captures a subclass of non-convex functions that enables both exact minimization and approximate maximization in polynomial time. In this work we study the problem of maximizing non-monotone DR-submodular continuous functions under general down-closed convex constraints. We start by investigating geometric properties that underlie such objectives, e.g., a strong relation between (approximately) stationary points and global optimum is proved. These properties are then used to devise two optimization algorithms with provable guarantees. Concretely, we first devise a two-phase algorithm with $1/4$ approximation guarantee. This algorithm allows the use of existing methods for finding (approximately) stationary points as a subroutine, thus, harnessing recent progress in non-convex optimization. Then we present a non-monotone Frank-Wolfe variant with $1/e$ approximation guarantee and sublinear convergence rate. Finally, we extend our approach to a broader class of generalized DR-submodular continuous functions, which captures a wider spectrum of applications. Our theoretical findings are validated on synthetic and real-world problem instances.

研究の動機と目的

• 一般の下閉じ凸制約の下で非単調DR-下位単調連続関数を最大化する問題に対処すること。
• DR-下位単調関数における近似的停留点とグローバル最適解との間の幾何的性質を解明すること。
• 非単調DR-下位単調最大化に保証可能な近似性能を持つ最適化アルゴリズムを開発すること。
• より広範な適用性を実現するため、一般化DR-下位単調連続関数へのフレームワークの拡張すること。
• 理論的知見を合成的および実世界の問題インスタンス上で検証すること。

提案手法

• 既存手法を用いて近似的停留点を求めるサブルーチンを活用する2段階アルゴリズムを導入し、1/4の近似保証を達成する。
• 1/eの近似保証と非線形収束速度を達成する非単調フランク・ウォルフの変種を開発する。
• DR-下位単調関数における（近似的）停留点とグローバル最適解との強い幾何的関連性を確立する。
• DR-下位単調性の構造を活用することで、非凸性にもかかわらず多項式時間で近似的最大化を可能にする。
• より広範な実世界の応用を捉えるために、フレームワークを一般化DR-下位単調関数へと拡張する。
• 実用的な実行可能性領域をモデル化するため、下閉じ凸制約を採用する。

実験結果

リサーチクエスチョン

• RQ1 非単調DR-下位単調関数において、近似的停留点とグローバル最適解との間にどのような幾何的性質が関連するか？
• RQ2 既存の非凸最適化手法は、一般の凸制約の下でDR-下位単調最大化に効果的に適用可能か？
• RQ3 フランク・ウォルフ風の手法を用いることで、非単調DR-下位単調最大化に対してどの程度の近似保証を達成できるか？
• RQ4 DR-下位単調フレームワークは、より広範な適用性を得るために一般化連続関数へとどのように拡張可能か？
• RQ5 合成的および実世界のインスタンスにおいて、どのような実験的性能が達成可能か？

主な発見

• 本稿では、DR-下位単調関数における近似的停留点とグローバル最適解との間の強い関係を証明し、効果的な最適化を可能にする。
• 2段階アルゴリズムは、既存手法による停留点探索を活用することで1/4の近似保証を達成する。
• 非単調フランク・ウォルフの変種は、非線形収束速度を伴い、1/eの近似保証を達成する。
• 提案されたアルゴリズムは、DPPにおけるMAP推論や確率的下位単調モデルにおける平均場推論を含む、幅広い実世界問題に適用可能である。
• 理論的知見は合成的および実世界の問題インスタンス上で実証的に検証され、実用的有効性が示された。
• フレームワークは一般化DR-下位単調連続関数へと拡張され、多様な最適化タスクへの適用範囲が拡大された。