[論文レビュー] Continuous Submodular Function Maximization

Patton, Kalen, Joachim M. Buhmann+1 more|arXiv (Cornell University)|Jun 24, 2020

Complexity and Algorithms in Graphs参考文献 99被引用数 4

ひとこと要約

この論文は、保証付きの非凸最適化を可能にする、連続的サブモジュラ関数最大化というフレームワークを導入する。多項式時間アルゴリズムを可能にする鍵となる性質として連続的DRサブモジュラリティを確立し、Shrunken Frank-Wolfe や Two-Phase Frank-Wolfe といった保証付き手法を提案。これらはインフルエンス最大化および収益最適化タスクにおいて、既存の手法を上回る性能を発揮する。

ABSTRACT

Continuous submodular functions are a category of generally non-convex/non-concave functions with a wide spectrum of applications. The celebrated property of this class of functions - continuous submodularity - enables both exact minimization and approximate maximization in poly. time. Continuous submodularity is obtained by generalizing the notion of submodularity from discrete domains to continuous domains. It intuitively captures a repulsive effect amongst different dimensions of the defined multivariate function. In this paper, we systematically study continuous submodularity and a class of non-convex optimization problems: continuous submodular function maximization. We start by a thorough characterization of the class of continuous submodular functions, and show that continuous submodularity is equivalent to a weak version of the diminishing returns (DR) property. Thus we also derive a subclass of continuous submodular functions, termed continuous DR-submodular functions, which enjoys the full DR property. Then we present operations that preserve continuous (DR-)submodularity, thus yielding general rules for composing new submodular functions. We establish intriguing properties for the problem of constrained DR-submodular maximization, such as the local-global relation. We identify several applications of continuous submodular optimization, ranging from influence maximization, MAP inference for DPPs to provable mean field inference. For these applications, continuous submodularity formalizes valuable domain knowledge relevant for optimizing this class of objectives. We present inapproximability results and provable algorithms for two problem settings: constrained monotone DR-submodular maximization and constrained non-monotone DR-submodular maximization. Finally, we extensively evaluate the effectiveness of the proposed algorithms.

研究の動機と目的

• 離散的サブモジュラリティを連続的領域へ一般化する連続的サブモジュラリティを形式化すること。
• 弱い限界効果逓減性（DR）を介して連続的DRサブモジュラ関数を同定・特徴付けること。
• 制約付き単調および非単調DRサブモジュラ最大化のための保証付き多項式時間アルゴリズムを開発すること。
• 連続的割り当てを伴うインフルエンス最大化や収益最適化といった実世界の応用において、これらのアルゴリズムの有効性を示すこと。
• DRサブモジュラ最大化における局所的・グローバル的収束関係といった理論的性質を確立すること。

提案手法

• 連続的領域におけるサブモジュラリティと同等の弱い限界効果逓減性（DR）を用いて連続的サブモジュラリティを導入すること。
• 完全DR性を有するサブクラスとして連続的DRサブモジュラ関数を定義し、より強い理論的保証を可能にすること。
• 連続的（DR-）サブモジュラリティを保つ合成則を提案し、新たなサブモジュラ関数の構築を可能にすること。
• Shrunken Frank-Wolfe および Two-Phase Frank-Wolfe という2つの新規アルゴリズムを開発し、異なるステップサイズ戦略下での収束保証を提供すること。
• 局所的・グローバル的収束性の性質を統合し、DRサブモジュラ最大化における局所的定常点がグローバル最適解の定数倍以内に収束することを結びつけること。
• 一般マーケティング戦略を用いたインフルエンス最大化や、対数サブモジュラモデルにおける平均場推論といった実世界問題へのフレームワークの応用。

実験結果

リサーチクエスチョン

• RQ1 サブモジュラリティはどのように離散的領域から連続的領域へ一般化できるのか。その関数の主要な数学的性質は何か。
• RQ2 連続的領域におけるサブモジュラリティと限界効果逓減性（DR）の関係は何か。
• RQ3 どのような演算が連続的（DR-）サブモジュラリティを保ち、新たなサブモジュラ関数の体系的構築を可能にするか。
• RQ4 制約付き連続的DRサブモジュラ最大化のための保証付き多項式時間アルゴリズムを設計可能か。また、既存手法と比べてどのように性能を発揮するか。
• RQ5 提案されたアルゴリズムは、実世界の最適化問題（インフルエンス最大化や収益最適化など）において実際にどの程度の性能を発揮するか。

主な発見

• 連続的DRサブモジュラ関数は弱い限界効果逓減性によって特徴付けられ、完全DR性を有するサブクラスはより強い最適化保証を可能にする。
• 局所的・グローバル的収束性の性質が成立する：連続的DRサブモジュラ関数の任意の局所的（近似的な）定常点は、グローバル最適解の定数倍以内に収束する。
• 実世界のグラフにおいて、Shrunken Frank-Wolfe および Two-Phase Frank-Wolfe はPGAベースの手法よりも高い期待収益を達成し、Two-Phase FW が最も速く収束した。
• 「Reality Mining」サブグラフ（n=5）において、Shrunken FW はユーザーAに6.1単位、Cに3.3単位、Eに0.6単位を割り当て、ネットワークのインフルエンスパターンと整合した。
• Lipschitzステップサイズを用いたTwo-Phase FW は、テストされたすべての実世界グラフ（n=217 から n=4039）において最高の目的関数値と最速の収束を達成した。
• PGAアルゴリズムはLipschitz定数Lや定数Cのチューニングが必要だったが、Shrunken FW および Two-Phase FW は無作為ステップサイズを用いることでハイパーパrameterのチューニングを不要とした。