[論文レビュー] Multivariate Submodular Optimization

Richard Santiago, F. Bruce Shepherd|arXiv (Cornell University)|Dec 15, 2016

Complexity and Algorithms in Graphs参考文献 30被引用数 3

ひとこと要約

本稿は、複数の集合 S₁ ⊎ ⋯ ⊎ Sₖ ∈ ℱ に対する分割上での関連目的関数 f(S₁,…,Sₖ) を最適化する、単一エージェントのサブモジュラ最適化の一般化である多次元サブモジュラ最適化（MVSO）を導入する。近似保証を確立する：最大化に関しては、単調な場合に α(1−1/e)、非単調な場合に α·0.385 の近似比を達成し、既知の SO の境界と一致する。最小化に関しては、曲率に依存する近似比 β·n/(1+(n−1)(1−c)) を提供し、ほぼタイトである。

ABSTRACT

Submodular functions have found a wealth of new applications in data science and machine learning models in recent years. This has been coupled with many algorithmic advances in the area of submodular optimization: (SO) $\min/\max~f(S): S \in \mathcal{F}$, where $\mathcal{F}$ is a given family of feasible sets over a ground set $V$ and $f:2^V ightarrow \mathbb{R}$ is submodular. In this work we focus on a more general class of \emph{multivariate submodular optimization} (MVSO) problems: $\min/\max~f (S_1,S_2,\ldots,S_k): S_1 \uplus S_2 \uplus \cdots \uplus S_k \in \mathcal{F}$. Here we use $\uplus$ to denote disjoint union and hence this model is attractive where resources are being allocated across $k$ agents, who share a `joint' multivariate nonnegative objective $f(S_1,S_2,\ldots,S_k)$ that captures some type of submodularity (i.e. diminishing returns) property. We provide some explicit examples and potential applications for this new framework. For maximization, we show that practical algorithms such as accelerated greedy variants and distributed algorithms achieve good approximation guarantees for very general families (such as matroids and $p$-systems). For arbitrary families, we show that monotone (resp. nonmonotone) MVSO admits an $α(1-1/e)$ (resp. $α\cdot 0.385$) approximation whenever monotone (resp. nonmonotone) SO admits an $α$-approximation over the multilinear formulation. This substantially expands the family of tractable models for submodular maximization. For minimization, we show that if SO admits a $β$-approximation over \emph{modular} functions, then MVSO admits a $\frac{β\cdot n}{1+(n-1)(1-c)}$-approximation where $c\in [0,1]$ denotes the curvature of $f$, and this is essentially tight. Finally, we prove that MVSO has an $αk$-approximation whenever SO admits an $α$-approximation over the convex formulation.

研究の動機と目的

• 関連目的関数 f(S₁,…,Sₖ) を互いに素な集合分割 S₁ ⊎ ⋯ ⊎ Sₖ に対して最適化する、新しい多次元サブモジュラ最適化（MVSO）問題の形式的定式化とその分析。
• 最大化および最小化の両方において、MVSO と古典的な単一エージェントサブモジュラ最適化（SO）との間の近似ギャップ（MVギャップ）を分析する。
• マトロイドや p-システムを含む一般の可能性制約族 ℱ に対して、MVSO のタイトな近似境界を確立する。
• MVSO 最小化における曲率の役割を調査し、曲率に依存する近似係数を導出する。
• MVSO が分離可能な複数エージェントモデルよりも豊かな構造を捉えられることを示し、機械学習およびデータサイエンスへの応用を提示する。

提案手法

• MVSO の形式的フレームワークを提案：f(S₁,…,Sₖ) を最小化／最大化する問題において、S₁ ⊎ ⋯ ⊎ Sₖ ∈ ℱ を制約とし、f は k-多重サブモジュラである。
• k-多重サブモジュラ性の概念を導入し、複数の集合にわたる限界収益の逓減性を一般化する。
• 既知の SO の近似比に基づいて、多変数関数の線形緩和と凸最適化を用いて、MVSO の近似保証を導出する。
• 加速されたグリーディ法および分散アルゴリズムを MVSO に適用し、マトロイドや p-システムなどの一般制約下でも良好な近似比を達成できることを示す。
• 確率的解析とチェルノフの不等式を用いて、値オракルモデルにおける近似可能性の下界を証明する。
• Iyer らの構成を多次元関数に拡張し、曲率に基づく下界を導入することで、近似係数のタイトさを示す。

実験結果

リサーチクエスチョン

• RQ1 最大化問題に関して、多次元サブモジュラ最適化と古典的サブモジュラ最適化との間の近似ギャップ（MVギャップ）は何か？
• RQ2 加速されたグリーディ法や分散手法といった実用的アルゴリズムは、MVSO フレームワークにおいて良好な近似保証を達成できるか？
• RQ3 多次元目的関数の曲率は、MVSO 最小化問題の近似可能性にどのように影響するか？
• RQ4 MVSO フレームワークは、分離可能な複数エージェントサブモジュラ最適化（MASO）よりも厳密に表現力が強いと見なせるか？
• RQ5 値オラクルモデルにおいて、MVSO 問題を近似する情報理論的限界は何か？

主な発見

• 単調な MVSO 最大化では、近似比が α(1−1/e) である。ここで α は、線形緩和に基づく対応する単一エージェント SO 問題の近似比である。
• 非単調な MVSO 最大化では、近似比が α·0.385 である。再び、SO の近似比 α に基づく。
• 単調な最大化における MV ギャップは、一致する下界構成によりタイトであることが示された。
• MVSO 最小化では、近似比が β·n/(1+(n−1)(1−c)) である。ここで β は、モジュラー関数上での SO の近似比、c は f の総曲率である。
• この最小化の近似は、ℱ = {V} であっても、ほぼタイトである。曲率に依存する下界 o(n/log n / (1 + (n/log n −1)(1−c))) を用いて、そのことが証明された。
• 本稿では、曲率を考慮しない限り、MVSO の近似比が o(n/log n) よりも良くならないことが示された。これは、曲率に依存する解析の必要性を強調している。