[論文レビュー] Provable Submodular Minimization using Wolfe's Algorithm

Deeparnab Chakrabarty, Prateek Jain+1 more|arXiv (Cornell University)|Nov 1, 2014

Complexity and Algorithms in Graphs参考文献 20被引用数 32

ひとこと要約

本稿は、部分的劣微分関数最小化（SFM）に対するWolfeのアルゴリズムの、初めての証明可能な収束解析を提供し、t反復で$O(1/t)$-近似解が得られることを示している。さらに、Fujishigeの定理のロバスト版を証明し、基底ポリトープ上での$O(1/n^2)$-近似最小ノルム点が正確なSFMをもたらすことを確立した。これにより、Fujishige-Wolfeアルゴリズムに対する、$O((n^5\mathrm{EO}+n^7)F^2)$のランタイムバウンドを有する最初の擬似多項式時間保証が得られた。

ABSTRACT

Owing to several applications in large scale learning and vision problems, fast submodular function minimization (SFM) has become a critical problem. Theoretically, unconstrained SFM can be performed in polynomial time [IFF 2001, IO 2009]. However, these algorithms are typically not practical. In 1976, Wolfe proposed an algorithm to find the minimum Euclidean norm point in a polytope, and in 1980, Fujishige showed how Wolfe's algorithm can be used for SFM. For general submodular functions, this Fujishige-Wolfe minimum norm algorithm seems to have the best empirical performance. Despite its good practical performance, very little is known about Wolfe's minimum norm algorithm theoretically. To our knowledge, the only result is an exponential time analysis due to Wolfe himself. In this paper we give a maiden convergence analysis of Wolfe's algorithm. We prove that in $t$ iterations, Wolfe's algorithm returns an $O(1/t)$-approximate solution to the min-norm point on {\em any} polytope. We also prove a robust version of Fujishige's theorem which shows that an $O(1/n^2)$-approximate solution to the min-norm point on the base polytope implies {\em exact} submodular minimization. As a corollary, we get the first pseudo-polynomial time guarantee for the Fujishige-Wolfe minimum norm algorithm for unconstrained submodular function minimization.

研究の動機と目的

• Wolfeのアルゴリズムの収束挙動に関する理論的ギャップを埋めること。これは実務的に有効であるが、理論的保証に欠ける。
• 多面体上の最小ノルム点を最小化するWolfeのアルゴリズムに、証明可能な収束速度を提供すること。これは、部分的劣微分関数最小化における主要なサブルーチンである。
• 近似最小ノルム点と近似部分的劣微分最小化との間の関係を示すFujishigeの定理のロバスト版を確立し、解のプロセスにおける誤差バウンドを可能にする。
• 非制約部分的劣微分関数最小化のためのFujishige-Wolfeアルゴリズムに対する、最初の擬似多項式時間複雑度バウンドを導出すること。
• 関数パラメータ（例：$F$）に依存する形式的なランタイム保証を提供することで、Fujishige-Wolfeアルゴリズムの実験的成功と理論的解析を調和させること。

提案手法

• 多面体上の最小ノルム点を求めるWolfeのアルゴリズムを分析し、t反復で最小ノルム点に対する$O(1/t)$-近似解が得られることを証明する。
• 最適解からの二乗距離を追跡するポテンシャル関数を用いた、新しい誤差解析を導入し、反復ごとに誤差が2次的に減少することを示す。
• Fujishigeの定理のロバスト版を確立：すべての$z \in \mathcal{B}_f$に対して$\|x\|_2^2 \leq z^T x + \varepsilon^2$を満たす点$x$が存在する場合、$f(S_x) \leq \min_S f(S) + 2n\varepsilon$が成り立ち、$S_x$は多項式時間で構成可能である。
• 基底ポリトープ上での線形関数の最小化にグリーディアルゴリズムを用い、Wolfeのアルゴリズムの実装を実用的に行えるようにする。
• Wolfeのアルゴリズムの収束速度とロバストFujishigeの定理を組み合わせ、SFMのための擬似多項式時間バウンドを導出する。
• 関数パラメータとして$F = \max_i \left( |f(\{i\})|, |f([n]) - f([n]\setminus i)| \right) $を定義し、ランタイム解析における主要なパラメータとして用いる。

実験結果

リサーチクエスチョン

• RQ1 多面体上での最小ノルム点を求めるWolfeのアルゴリズムの収束速度は何か？
• RQ2 基底ポリトープ上での最小ノルム点問題の近似解を用いることで、部分的劣微分最小化に対する証明可能な良い解が得られるか？
• RQ3 非制約部分的劣微分関数最小化のためのFujishige-Wolfeアルゴリズムに対する、最初の証明可能な擬似多項式時間複雑度バウンドは何か？
• RQ4 Fujishige-Wolfeアルゴリズムの実験的性能は、Iwata-Orlinのような証明可能な多項式時間アルゴリズムと比較して、$F$に依存する点でどう異なるか？
• RQ5 近似最小ノルム点と近似部分的劣微分最小化との関係を、定量的な誤差バウンドを伴って示すFujishigeの定理のロバスト版を証明できるか？

主な発見

• Wolfeのアルゴリズムは、任意の多面体上でt反復で最小ノルム点に対する$O(1/t)$-近似解に収束する。$\varepsilon$-精度に到達するには$O(nQ^2 / \varepsilon)$反復が必要であり、ここで$Q$は多面体に属する任意の点の$\ell_2$-ノルムの最大値である。
• Fujishigeの定理のロバスト版が証明された：すべての$z \in \mathcal{B}_f$に対して$\|x\|_2^2 \leq z^T x + \varepsilon^2$を満たす点$x$が存在する場合、$f(S_x) \leq \min_S f(S) + 2n\varepsilon$が成り立ち、$S_x$は多項式時間で構成可能である。
• 非制約部分的劣微分関数最小化のためのFujishige-Wolfeアルゴリズムは、$O((n^5\mathrm{EO} + n^7)F^2)$の時間で実行される。ここで$F$は関数の任意の要素における絶対的マージナル変化の最大値である。
• 実験的結果から、Fujishige-Wolfeアルゴリズムの反復回数は$F$が指数関数的に増加しても一定のままであり、実際には$F$に弱い依存性を示していることがわかった。
• Iwata-Orlinアルゴリズムよりも理論的依存性が悪い（$n$および$F$に関して）ものの、s-t最小カットやIwataの3グループ関数といった標準ベンチマークでは、実験的に優れている。
• 本分析により、Fujishige-Wolfeアルゴリズムに対する最初の擬似多項式時間保証が確立され、その実用的成功を理解する長年の理論的ギャップが解消された。