[論文レビュー] Greed is Good: Near-Optimal Submodular Maximization via Greedy Optimization

Moran Feldman, Christopher Harshaw+1 more|arXiv (Cornell University)|Apr 5, 2017

Complexity and Algorithms in Graphs参考文献 32被引用数 41

ひとこと要約

本稿では、k-システムおよびk-拡張可能システムの制約下で一般の劣微分関数を最大化するための、2つの新しいアルゴリズム、RepeatedGreedyとSampleGreedyを提案する。RepeatedGreedyは、O(nr√k)回の関数評価を用いて(1+O(1/√k))k-近似を得る。一方、SampleGreedyは1回のグリーディ実行と重要度サンプリングを用いることで、O(nr/k)回の評価でk+3-近似を達成し、従来の手法に比べて実行時間が著しく高速化されつつ、近似的に最適な性能を維持する。

ABSTRACT

It is known that greedy methods perform well for maximizing monotone submodular functions. At the same time, such methods perform poorly in the face of non-monotonicity. In this paper, we show - arguably, surprisingly - that invoking the classical greedy algorithm $O(\sqrt{k})$-times leads to the (currently) fastest deterministic algorithm, called Repeated Greedy, for maximizing a general submodular function subject to $k$-independent system constraints. Repeated Greedy achieves $(1 + O(1/\sqrt{k}))k$ approximation using $O(nr\sqrt{k})$ function evaluations (here, $n$ and $r$ denote the size of the ground set and the maximum size of a feasible solution, respectively). We then show that by a careful sampling procedure, we can run the greedy algorithm only once and obtain the (currently) fastest randomized algorithm, called Sample Greedy, for maximizing a submodular function subject to $k$-extendible system constraints (a subclass of $k$-independent system constrains). Sample Greedy achieves $(k + 3)$-approximation with only $O(nr/k)$ function evaluations. Finally, we derive an almost matching lower bound, and show that no polynomial time algorithm can have an approximation ratio smaller than $ k + 1/2 - \varepsilon$. To further support our theoretical results, we compare the performance of Repeated Greedy and Sample Greedy with prior art in a concrete application (movie recommendation). We consistently observe that while Sample Greedy achieves practically the same utility as the best baseline, it performs at least two orders of magnitude faster.

研究の動機と目的

• k-システムおよびk-拡張可能システムの制約下での劣微分関数最大化のための、より高速な決定的および確率的アルゴリズムの開発。
• 非単調な劣微分関数最大化における、既存の近似比および時間計算量の改善。
• 特に大規模な問題に対して、関数評価回数を著しく削減しながら高い性能を維持する手法の設計。
• 近似比の理論的限界を不可能性結果を用いて確立すること。
• 多様で解釈可能な結果を得られる実世界の映画推薦タスクでの性能検証。

提案手法

• RepeatedGreedyは、多様な解集合を探索して近似比を向上させるために、古典的グリーディアルゴリズムをO(√k)回繰り返す。
• SampleGreedyは、1回の実行で複数回のグリーディ実行をシミュレートする新しいサンプリング手順を用い、関数評価回数をO(nr/k)にまで削減する。
• サンプリング戦略は、要素の限界利益に比例する確率で選択することで、解空間の効率的な探索を可能にする。
• アルゴリズムはk-拡張可能システムの性質を活用して、妥当性を保ちつつ近似保証を維持する。
• 繰り返し実行およびサンプリングされた設定下でのグリーディアルゴリズムの性能に対するより鋭い解析により、理論的境界の向上が可能になる。
• 近似比の理論的下界を導出し、任意の多項式時間アルゴリズムがk+1/2−εより良い近似比を達成することは不可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 古典的グリーディアルゴリズムをk-システム制約下で非単調な劣微分関数最大化に対して複数回再利用することで、より良い近似比を達成できるか？
• RQ2 重要度サンプリングを用いた1回のグリーディ実行で、関数評価回数を著しく削減しながら近似的に最適な性能を達成できるか？
• RQ3 k-拡張可能システムの制約下での劣微分関数最大化における、近似比の理論的限界は何か？
• RQ4 実世界の応用において、提案手法は最先端の手法と比較して、性能と実行時間の両面で優れているか？
• RQ5 映画推薦のような多様で現実的な設定において、標準的グリーディ手法に比べて局所最適解を回避する能力に優れているか？

主な発見

• RepeatedGreedyは、O(nr√k)回の関数評価を用いて(1+O(1/√k))k-近似を達成し、従来のO(nrk)手法に比べて向上する。
• SampleGreedyは、わずかO(nr/k)回の関数評価でk+3-近似を達成し、k-拡張可能システムにおける既知で最も高速な確率的アルゴリズムである。
• 単調または線形の目的関数の場合、SampleGreedyはそれぞれk+1およびk-近似を達成し、時間計算量を著しく低減しながら、既知の最良の近似比を達成する。
• 実世界のMovieLens 20Mデータセットを用いた実験で、SampleGreedyはFANTOMと同等の性能を達成しながら、mg=1の条件下で計算コストのたった1.09%にまで削減した。
• RepeatedGreedyはFANTOMと同等の解の質を達成しながら、4倍速く実行され、性能と効率の良好なトレードオフを示した。
• 理論的解析により、任意の多項式時間アルゴリズムがk+1/2−εより良い近似比を達成することは不可能であることが示され、SampleGreedyのk+3近似境界がほぼ最適であることが示された。