[論文レビュー] Guarantees for Greedy Maximization of Non-submodular Functions with Applications

Yatao Bian, Joachim M. Buhmann+2 more|arXiv (Cornell University)|Mar 6, 2017

Complexity and Algorithms in Graphs参考文献 31被引用数 98

ひとこと要約

本論文は、サブモジュラ性比と曲率の組み合わせを用いて、濃度制約下でサブモジュラではない単調増加な集合関数をGreedy法で最大化する際の厳密な近似保証を導出し、いくつかの現実世界の目的関数で検証している。

ABSTRACT

We investigate the performance of the standard Greedy algorithm for cardinality constrained maximization of non-submodular nondecreasing set functions. While there are strong theoretical guarantees on the performance of Greedy for maximizing submodular functions, there are few guarantees for non-submodular ones. However, Greedy enjoys strong empirical performance for many important non-submodular functions, e.g., the Bayesian A-optimality objective in experimental design. We prove theoretical guarantees supporting the empirical performance. Our guarantees are characterized by a combination of the (generalized) curvature $α$ and the submodularity ratio $γ$. In particular, we prove that Greedy enjoys a tight approximation guarantee of $\frac{1}α(1- e^{-γα})$ for cardinality constrained maximization. In addition, we bound the submodularity ratio and curvature for several important real-world objectives, including the Bayesian A-optimality objective, the determinantal function of a square submatrix and certain linear programs with combinatorial constraints. We experimentally validate our theoretical findings for both synthetic and real-world applications.

研究の動機と目的

• K個の制約の下で、非サブモジュラかつ非減少の集合関数を最大化するサブセット選択を動機づけて分析する。
• 一般化された曲率とサブモジュラリティ比を導入し、Greedyの性能を界化する。
• 曲率とサブモジュラリティ比の観点からGreedyの厳密な近似保証を提供する。
• ベイズA最適性や行列式関数などの重要な目的について、これらのパラメータを境界付けを行う。
• 人工データと実データセットを用いた実証的妥当性を示す。

提案手法

• 非サブモジュラなFに対してサブモジュラリティ比(gamma)と一般化された曲率(alpha)を定義する。
• Greedyの保証 F(S^K) >= (1/alpha)[1 - ((K - alpha*gamma)/K)^K] F(Omega*) および 境界 >= (1/alpha) (1 - e^{-alpha*gamma}) F(Omega*) を証明する。
• 最悪ケースの保証がLPベースの論証とOmega*との重なりでグルーピングすることにより厳密であることを示す。
• alpha または gamma が特殊な値をとるとき（例: サブモジュラ系や超サブモジュラ系の場合）に古典的な境界を回復する解釈を提供する。
• ベイズA最適性、行列式関数、LPs with combinatorial constraints のような重要な目的について、これらのパラメータを境界づける。
• 人工データと実データで理論を実証的に検証し、GreedyをSDPベースの手法と比較し、実行時間の改善を報告する。

実験結果

リサーチクエスチョン

• RQ1 K個の総和制約の下で非サブモジュラかつ非減少の集合関数を最大化するGreedyに対する厳密な近似保証は何か？
• RQ2 曲率とサブモジュラリティ比をどのように組み合わせて、サブモジュラケースを超えたGreedyの性能を特徴づけられるか？
• RQ3 ベイズA最適性、行列式目的、組合せ制約付きLPなどの重要な実世界の目的に対して、これらのパラメータを境界づけることができるか？
• RQ4 人工データと実データセットでの経験的結果は理論的保証と一致し、計算上の利点を示しているか？

主な発見

• Greedyは、非サブモジュラかつ非減少関数の「カーディナリティ制約付き最大化」に対して厳密な近似因子(1/alpha)(1 - e^{-gamma alpha})を達成する。
• 性能保証は特殊ケースで古典的境界を回復し、gammaが高いとき曲率が保証を高めることを示す。
• ベイズA最適性や行列式関数を含むいくつかの目的では、gammaとalphaを境界づけることができ、Greedyに実用的な保証をもたらす。
• Greedyは解の品質でSDPベースの方法としばしば同等であり、実験設計の状況で桁違いに高速な実行時間を提供する。
• 人工データと実データの経験的結果は、Greedyのサブモジュラリティ比が1に近く、Greedyの曲率が一般に古典的総曲率よりも小さいことを裏付けており、観察された性能と一致している。