[論文レビュー] Greed is Still Good: Maximizing Monotone Submodular+Supermodular Functions

Wenruo Bai, Jeffrey A. Bilmes|arXiv (Cornell University)|Jan 23, 2018

Complexity and Algorithms in Graphs参考文献 7被引用数 13

ひとこと要約

本稿では、基数制約またはマトロイド制約の下で、単調な部分加法的関数と単調な上加法的関数の和を最大化する近似アルゴリズムを提案する。曲率測度 $\kappa_f$ と $\kappa^g$ を導入することで、それぞれの制約下で $\frac{1}{\kappa_f}\left[1-e^{-(1-\kappa^g)\kappa_f}\right]$ および $\frac{1-\kappa^g}{(1-\kappa^g)\kappa_f + p}$ というタイトな近似保証を確立し、一般には近似不能であるにもかかわらず、グリーディ法と準勾配法が近似的に最適な性能を達成することを示している。

ABSTRACT

We analyze the performance of the greedy algorithm, and also a discrete semi-gradient based algorithm, for maximizing the sum of a suBmodular and suPermodular (BP) function (both of which are non-negative monotone non-decreasing) under two types of constraints, either a cardinality constraint or $p\geq 1$ matroid independence constraints. These problems occur naturally in several real-world applications in data science, machine learning, and artificial intelligence. The problems are ordinarily inapproximable to any factor (as we show). Using the curvature $κ_f$ of the submodular term, and introducing $κ^g$ for the supermodular term (a natural dual curvature for supermodular functions), however, both of which are computable in linear time, we show that BP maximization can be efficiently approximated by both the greedy and the semi-gradient based algorithm. The algorithms yield multiplicative guarantees of $\frac{1}{κ_f}\left[1-e^{-(1-κ^g)κ_f} ight]$ and $\frac{1-κ^g}{(1-κ^g)κ_f + p}$ for the two types of constraints respectively. For pure monotone supermodular constrained maximization, these yield $1-κ^g$ and $(1-κ^g)/p$ for the two types of constraints respectively. We also analyze the hardness of BP maximization and show that our guarantees match hardness by a constant factor and by $O(\ln(p))$ respectively. Computational experiments are also provided supporting our analysis.

研究の動機と目的

• 組み合わせ的制約の下で、単調な部分加法的関数と単調な上加法的関数の和を最大化する問題に取り組むこと。この問題は一般に近似不能である。
• 部分加法的関数の一般化された曲率 $\kappa_f$ に類似した、上加法的関数のための二重曲率測度 $\kappa^g$ を導入し、形式化すること。
• 基数制約および $p$-マトロイド制約の下で、グリーディ法と離散的準勾配法の近似保証を確立すること。
• 導出された保証が、定数要因または対数的要因の範囲で問題の固有の難易度と一致することを示すこと。
• 計算実験を通じて理論的考察を検証し、提案されたアルゴリズムの実用的有効性を示すこと。

提案手法

• 上加法的関数のための新しい曲率測度 $\kappa^g$ を導入し、$\kappa^g = \min_{v \in V} \frac{g(V \setminus \{v\})}{g(V)}$ として定義する。これは上加法性の度合いを捉える。
• 可能な集合に制約された、$f(X) + g(X)$ のマージナル利得が最大となる要素を反復的に選ぶグリーディアルゴリズムを提案する。
• 上加法的項の部分勾配を用いて選択を誘導する離散的準勾配に基づくアルゴリズムを設計し、非部分加法的成分に対するロバストネスを向上させる。
• 曲率測度を用いて近似保証を導出する：基数制約では $\frac{1}{\kappa_f}\left[1 - e^{-(1 - \kappa^g)\kappa_f}\right]$、$p$-マトロイド制約では $\frac{1 - \kappa^g}{(1 - \kappa^g)\kappa_f + p}$ がそれぞれ得られる。
• 両アルゴリズムが、定数要因または $O(\ln p)$ 要因の範囲で問題の理論的難易度と一致する保証を達成することを証明する。
• $\kappa_f$ と $\kappa^g$ が線形時間で計算可能であることを確立し、アルゴリズムの実用的導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グリーディ法と準勾配法は、組み合わせ的制約の下で、単調な部分加法的関数と単調な上加法的関数の和を最大化する問題に対して、非自明な近似保証を達成できるか？
• RQ2 部分加法的および上加法的成分の相互作用を捉えるために、どのような曲率に基づく測度が近似保証を可能にするか？
• RQ3 グリーディ法と準勾配法の近似保証は、問題の固有の難易度とどのように比較されるか？
• RQ4 曲率測度 $\kappa_f$ と $\kappa^g$ は効率的に計算可能か？ これによりアルゴリズムの実用的導入が可能か？
• RQ5 理論的境界は、計算実験で観察された実効的性能と一致するか？

主な発見

• 基数制約の下で、グリーディアルゴリズムは近似保証 $\frac{1}{\kappa_f}\left[1 - e^{-(1 - \kappa^g)\kappa_f}\right]$ を達成する。
• $p$-マトロイド制約の下で、離散的準勾配アルゴリズムは保証 $\frac{1 - \kappa^g}{(1 - \kappa^g)\kappa_f + p}$ を達成する。
• 純粋な単調な上加法的関数最大化のため、保証はそれぞれ $1 - \kappa^g$ および $\frac{1 - \kappa^g}{p}$ に簡略化され、既知の難易度境界と一致する。
• 曲率測度 $\kappa_f$ と $\kappa^g$ は線形時間で計算可能であり、効率的なアルゴリズムの導入を可能にする。
• 近似保証は、それぞれ定数要因および $O(\ln p)$ 要因の範囲で問題の理論的難易度と一致しており、タイトであることが示された。
• 計算実験により、アルゴリズムが理論的境界に従って動作することが確認され、分析の妥当性が検証された。