[論文レビュー] Submodular Functions: from Discrete to Continous Domains

Francis Bach|arXiv (Cornell University)|Nov 2, 2015

Complexity and Algorithms in Graphs参考文献 62被引用数 31

ひとこと要約

本稿は、確率測度を用いた凸連続拡張を導入することで、離散的集合から連続的領域へのサブモジュラー関数の理論を拡張する。この拡張が凸であることは、かつての関数がサブモジュラーであることと同値であることを証明する。主な貢献は、サブモジュラー関数の最小化が凸最適化問題に帰着されることであり、収束保証付きの効率的アルゴリズムの利用を可能にする。

ABSTRACT

Submodular set-functions have many applications in combinatorial optimization, as they can be minimized and approximately maximized in polynomial time. A key element in many of the algorithms and analyses is the possibility of extending the submodular set-function to a convex function, which opens up tools from convex optimization. Submodularity goes beyond set-functions and has naturally been considered for problems with multiple labels or for functions defined on continuous domains, where it corresponds essentially to cross second-derivatives being nonpositive. In this paper, we show that most results relating submodularity and convexity for set-functions can be extended to all submodular functions. In particular, (a) we naturally define a continuous extension in a set of probability measures, (b) show that the extension is convex if and only if the original function is submodular, (c) prove that the problem of minimizing a submodular function is equivalent to a typically non-smooth convex optimization problem, and (d) propose another convex optimization problem with better computational properties (e.g., a smooth dual problem). Most of these extensions from the set-function situation are obtained by drawing links with the theory of multi-marginal optimal transport, which provides also a new interpretation of existing results for set-functions. We then provide practical algorithms to minimize generic submodular functions on discrete domains, with associated convergence rates.

研究の動機と目的

• 任意の連続的領域、特にℝⁿのコンact部分集合を含む、サブモジュラー集合関数の凸拡張を一般化すること。
• 連続的領域における一般設定において、連続的拡張が凸であることと、元の関数がサブモジュラーであることの同値性を確立すること。
• サブモジュラー関数最小化が、連続的拡張における凸最適化問題に等価であることを示し、凸最適化ツールの利用を可能にすること。
• 収束速度が保証された、一般のサブモジュラー関数の離散的および連続的領域における最小化のための実用的アルゴリズムを開発すること。
• マルチマージナル最適輸送との関連を通じて新たな洞察を提供し、既存の結果の直感的な証明と再解釈を可能にすること。

提案手法

• ドメイン X = ∏ᵢ Xᵢ 上の確率測度を用いてサブモジュラー関数の連続的拡張を提案し、μ ∈ ℙ⊗(X) に対して h(μ) = ∫ H(x) dμ(x) と定義する。
• サブモジュラー性と負の交差2次微分の同値性を用いて、この拡張が凸であることと、H がサブモジュラーであることの同値性を証明する。
• 双対性および最適輸送理論を活用して、X 上での H の最小化と、積確率測度の空間 ℙ⊗(X) 上での h(μ) の最小化の等価性を確立する。
• 拡張に分離可能な凸関数 G を加えることで正則化された凸緩和を導入し、フランク＝ウォルフ法に適した強い凸双対問題を得る。
• マルチマージナル最適輸送を用いて、h_closure(μ) = inf_{γ∈Π(μ)} ∫ H(x) dγ(x) として H の凸包を定義し、タイトな凸緩和を可能にする。
• 関数評価と双対性に基づく実用的アルゴリズムを構築し、凸最適化理論から得られる収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 サブモジュラー集合関数の凸拡張を、連続的領域に定義されたサブモジュラー関数へ一般化できるか？
• RQ2 一般の連続的設定において、連続的拡張の凸性が元の関数のサブモジュラー性と同値であるか？
• RQ3 サブモジュラー関数最小化を連続的領域における凸最適化問題に再定式化できるか？ もしそうなら、その方法は何か？
• RQ4 特にアルゴリズム的効率性と収束性の観点から、サブモジュラー関数最小化に凸拡張を使用する利点は何か？
• RQ5 最適輸送理論との関連を活用することで、サブモジュラー関数の性質に対する新しい解釈と証明を導けるか？

主な発見

• X 上のサブモジュラー関数 H: X → ℝ を積確率測度の空間に連続的拡張した場合、その拡張が凸であることは、H がサブモジュラーであることと同値である。
• X 上での元のサブモジュラー関数 H の最小化は、μ ∈ ℙ⊗(X) 上でのその凸拡張 h(μ) の最小化と等価であり、凸最適化手法の利用が可能になる。
• 正則化された拡張 h(μ) + G(∫ x dμ(x)) は強い凸双対問題をもたらし、フランク＝ウォルフ法などのアルゴリズムにおける計算効率を向上させる。
• H の凸包は最適輸送を用いて h_closure(μ) = inf_{γ∈Π(μ)} ∫ H(x) dγ(x) として計算可能であり、2変数関数に対しては閉形式で計算可能である。
• 単純なサブモジュラー成分の和に分解可能な関数については、この拡張による凸緩和は標準的な線形計画緩和と一致する。
• 離散的および連続的領域における一般のサブモジュラー関数の最小化のための実用的アルゴリズムを提案し、収束速度は凸最適化理論から導出される。