[論文レビュー] Weakly Submodular Maximization Beyond Cardinality Constraints: Does Randomization Help Greedy?

Lin Chen, Moran Feldman+1 more|arXiv (Cornell University)|Jul 13, 2017

Complexity and Algorithms in Graphs被引用数 18

ひとこと要約

本論文は、一般のマトロイド制約下での $\gamma$-弱に下位単調関数の最大化に対して、$(1+1/\gamma)^{-2}$ の近似比を達成する確率的グリーディアルゴリズム、Residual Random Greedy を導入している。これは、基数制約を超える制約下でのこのクラスの問題に対する、初めての非自明な理論的保証を提供する。実応用例（画像説明や動画要約など）において、標準的グリーディ法よりも実用的に優れた性能を示している。

ABSTRACT

Submodular functions are a broad class of set functions, which naturally arise in diverse areas. Many algorithms have been suggested for the maximization of these functions. Unfortunately, once the function deviates from submodularity, the known algorithms may perform arbitrarily poorly. Amending this issue, by obtaining approximation results for set functions generalizing submodular functions, has been the focus of recent works. One such class, known as weakly submodular functions, has received a lot of attention. A key result proved by Das and Kempe (2011) showed that the approximation ratio of the greedy algorithm for weakly submodular maximization subject to a cardinality constraint degrades smoothly with the distance from submodularity. However, no results have been obtained for maximization subject to constraints beyond cardinality. In particular, it is not known whether the greedy algorithm achieves any non-trivial approximation ratio for such constraints. In this paper, we prove that a randomized version of the greedy algorithm (previously used by Buchbinder et al. (2014) for a different problem) achieves an approximation ratio of $(1 + 1/\\gamma)^{-2}$ for the maximization of a weakly submodular function subject to a general matroid constraint, where $\\gamma$ is a parameter measuring the distance of the function from submodularity. Moreover, we also experimentally compare the performance of this version of the greedy algorithm on real world problems against natural benchmarks, and show that the algorithm we study performs well also in practice. To the best of our knowledge, this is the first algorithm with a non-trivial approximation guarantee for maximizing a weakly submodular function subject to a constraint other than the simple cardinality constraint. In particular, it is the first algorithm with such a guarantee for the important and broad class of matroid constraints.

研究の動機と目的

• 基数制約を超える制約下での弱に下位単調関数最大化の理論的保証の欠如に対処する。
• グリーディベースのアルゴリズムの適用範囲を、組合せ最適化において広く重要である一般のマトロイド制約へと拡張する。
• 弱に下位単調な設定において、確率的化がグリーディアルゴリズムの理論的および実用的性能を向上させることを示す。
• 特に機械学習やデータマイニングにおいて重要な、下位単調関数を一般化する広く使われる関数クラスに対して、保証可能な近似比を提供する。
• 非下位単調な設定におけるグリーディアルゴリズムの理論的性能と実用的挙動のギャップを埋める。

提案手法

• 元来下位単調関数の最大化を目的とした Residual Random Greedy アルゴリズムを、マトロイド制約下での弱に下位単調関数に適応する。
• 非下位単調性に対するロバスト性を高めるために、残差関数に基づくマージナル利益が大きい要素を優先して選択する確率的選択メカニズムを採用する。
• 下位単調性からの逸脱度を測るパラメータ $\gamma$ に基づいて近似比を評価する、新たな解析フレームワークを導入する。
• 近似比が $(1+1/\gamma)^{-2}$ であることを確立し、$\gamma$ が増加する（つまり関数がより下位単調でなくなる）に従い滑らかに劣化することを示す。
• マトロイド構造を活用して、各ステップで解の可解性を保ちつつ理論的保証を維持する。
• 遺伝子スプライスサイト検出や動画要約といった実世界の問題に対して、標準的グリーディ法やランダム選択と比較して、本手法の有効性を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 一般のマトロイド制約下での $\gamma$-弱に下位単調関数の最大化に対して、確率的グリーディアルゴリズムが非自明な近似比を達成できるか。
• RQ2 基数制約を超える制約下で、弱に下位単調最大化において確率的化がグリーディアルゴリズムの理論的性能を向上させるか。
• RQ3 弱に下位単調な目的関数を伴う実用的タスクにおいて、Residual Random Greedy アルゴリズムは標準的グリーディ法やランダム選択と比較してどのように性能を発揮するか。
• RQ4 マトロイドのような複雑な制約を持つ弱に下位単調な設定において、グリーディスタイルのアルゴリズムに保証可能な近似比が存在するか。
• RQ5 非単調な弱に下位単調関数に対するマトロイド制約下での理論的解析を、本研究のフレームワークに拡張可能か。

主な発見

• Residual Random Greedy アルゴリズムは、一般のマトロイド制約下での $\gamma$-弱に下位単調関数の最大化において、近似比 $(1+1/\gamma)^{-2}$ を達成する。
• これは、基数制約以外の制約下での弱に下位単調関数最大化に対する、初めての非自明な近似保証である。
• 遺伝子スプライスサイト検出および動画要約のタスクにおいて、Residual Random Greedy は標準的グリーディ法やランダム選択を上回り、関連する特徴を効果的に同定する。
• 画像説明タスクでは、Residual Random Greedy はベルン・マウンテン・ドッグの頭部領域を正しく特定するが、標準的グリーディ法は鼻のみを選択し、関係のない部分も含んでしまう。
• Residual Random Greedy では、選択されたスーパーピxls数が増えるに従い、正しいラベル予測の確率が滑らかに上昇する。これは、標準的グリーディ法やランダム選択を上回る性能を示している。
• ランダム選択の最大確率は僅か $4.39 \times 10^{-4}$ にとどまり、性能が著しく低いことが示され、一方で Residual Random Greedy は著しく高いかつ増加傾向の高い確率を維持している。