[論文レビュー] Polyhedral aspects of Submodularity, Convexity and Concavity

Rishabh Iyer, Jeff Bilmes|arXiv (Cornell University)|Jun 24, 2015

Complexity and Algorithms in Graphs参考文献 7被引用数 13

ひとこと要約

本稿では、超微分、タイトなモジュラー上界、および凹拡張を導入することで、下位集合関数と凸性および凹性の間の包括的な双対性を確立する。下位集合関数の最大化は、凹的な最適性条件を用いて分析可能であり、Fenchel双対性および離散分離定理が凹的視点に拡張され、下位集合関数が離散的ハイブリッドとしての凸性と凹性の両方の性質を示すことが明らかになる。

ABSTRACT

Seminal work by Edmonds and Lovasz shows the strong connection between submodularity and convexity. Submodular functions have tight modular lower bounds, and subdifferentials in a manner akin to convex functions. They also admit poly-time algorithms for minimization and satisfy the Fenchel duality theorem and the Discrete Seperation Theorem, both of which are fundamental characteristics of convex functions. Submodular functions also show signs similar to concavity. Submodular maximization, though NP hard, admits constant factor approximation guarantees. Concave functions composed with modular functions are submodular, and they also satisfy diminishing returns property. This manuscript provides a more complete picture on the relationship between submodularity with convexity and concavity, by extending many of the results connecting submodularity with convexity to the concave aspects of submodularity. We first show the existence of superdifferentials, and efficiently computable tight modular upper bounds of a submodular function. While we show that it is hard to characterize this polyhedron, we obtain inner and outer bounds on the superdifferential along with certain specific and useful supergradients. We then investigate forms of concave extensions of submodular functions and show interesting relationships to submodular maximization. We next show connections between optimality conditions over the superdifferentials and submodular maximization, and show how forms of approximate optimality conditions translate into approximation factors for maximization. We end this paper by studying versions of the discrete seperation theorem and the Fenchel duality theorem when seen from the concave point of view. In every case, we relate our results to the existing results from the convex point of view, thereby improving the analysis of the relationship between submodularity, convexity, and concavity.

研究の動機と目的

• 下位集合関数と凸性および凹性の間の双対性を、特に最適化の文脈において形式化すること。
• 下位集合関数の超微分と超勾配の多面体的枠組みを、凸解析における部分微分と類似する形で構築すること。
• 下位集合関数の凹拡張を確立し、それらを下位集合関数最大化の近似アルゴリズムに関連付けること。
• Fenchel双対性や離散分離定理といった古典的結果を、下位集合関数の凹的側面にまで拡張すること。
• これらの凹的性質が正確に成り立つ下位集合関数の部分クラス（例：M♮-凹関数）を特定し、正確または近似アルゴリズムの実現を可能にすること。

提案手法

• 一般の下位集合関数に対して内包的および外延的境界を与える、R^V 上の多面体的分割である超微分の概念を導入する。
• 一般化された超微分構造を用いて、効率的に計算可能なタイトなモジュラー上界を構築する。
• 特に、多変量拡張とその特定方向における凹的性質に関連付けて、下位集合関数の凹拡張を提案する。
• 超微分に基づく下位集合関数最大化の最適性条件を導出し、それらを近似保証に関連付ける。
• Fenchel双対性および離散分離定理を凹的視点から再解釈し、制限付き設定下での有効性を示す。
• Minkowski和定理および多面体幾何学を用いて、Lovász拡張と凹拡張との関係を、特に和演算において考察する。

実験結果

リサーチクエスチョン

• RQ1 一般の下位集合関数に対して、超微分および超勾配を体系的に特徴づけることは可能か？ また、それらをどのように近似できるか？
• RQ2 下位集合関数最適化において、凹的視点からFenchel双対性および離散分離定理がどの程度有効に保たれるか？
• RQ3 超微分構造が正確に成立し、効率的な最大化を可能にする下位集合関数の部分クラス（例：M♮-凹関数）は存在するか？
• RQ4 提案された凹拡張は、既存の連続的緩和（例：多変量拡張）とどのように関係するか？
• RQ5 超微分と下位集合関数最大化の近似アルゴリズムとの関係を形式化し、アルゴリズム的活用を可能にすることができるか？

主な発見

• 本稿では、下位集合関数が凸解析における部分微分と類似する超微分構造を有することを確立し、その凹的側面を多面体的特徴づけ可能にした。
• タイトなモジュラー上界が下位集合関数に存在し、超微分の内包的および外延的境界を用いて効率的に計算可能であることを証明した。
• Fenchel双対性および離散分離定理が、制限付き設定下では下位集合関数の凹的側面へ拡張可能であることを示した。
• M♮-凹関数では、超微分構造が正確に成立し、∂^f(X) = ∂^f_Δ(2,2)(X) を満たすため、正確な多項式時間アルゴリズムの実現が可能となる可能性がある。
• 近似超微分は下位集合関数最大化の近似アルゴリズムを導き、本稿では超微分近似とアルゴリズム性能との間の体系的関係を示唆した。
• Lovász拡張はMinkowski和の性質を満たし、本稿では制限付き設定下で、同様の性質が提案された凹拡張に対しても成立するかを検討した。