[論文レビュー] On the Convergence Rate of Decomposable Submodular Function Minimization

Robert Nishihara, Stefanie Jegelka+1 more|arXiv (Cornell University)|Jun 25, 2014

Complexity and Algorithms in Graphs参考文献 26被引用数 14

ひとこと要約

本論文は、分解可能で部分的サブモジュラー関数最小化に用いられる交互射影法の理論的収束速度解析を初めて確立した。サブモジュラー多面体幾何とスぺクトルグラフ理論を用いて、収束率の明示的な上界と下界を導出し、先行する経験的研究が残した未解決問題を解決した。

ABSTRACT

Submodular functions describe a variety of discrete problems in machine learning, signal processing, and computer vision. However, minimizing submodular functions poses a number of algorithmic challenges. Recent work introduced an easy-to-use, parallelizable algorithm for minimizing submodular functions that decompose as the sum of "simple" submodular functions. Empirically, this algorithm performs extremely well, but no theoretical analysis was given. In this paper, we show that the algorithm converges linearly, and we provide upper and lower bounds on the rate of convergence. Our proof relies on the geometry of submodular polyhedra and draws on results from spectral graph theory.

研究の動機と目的

• 分解可能サブモジュラー関数最小化における経験的に成功した交互射影法の理論的裏付けを提供すること。
• サブモジュラー最良近似問題の文脈において、アルゴリズムの線形収束レートを確立すること。
• 幾何的およびスぺクトル的解析を用いて、最悪ケースの収束レートのタイトな上界と下界を導出すること。
• 並列的かつスケーラブルなサブモジュラー最適化における経験的性能と理論的理解のギャップを埋めること。

提案手法

• ベース多面体とその負の多面体という2つの凸集合間の最良近似問題として、サブモジュラー関数最小化を定式化する。
• これらの凸集合間での交互射影を適用して、最良近似問題を解く。
• 離散問題を連続的凸最適化フレームワークに昇格するために、ロヴァーシュ拡張を用いる。
• サブモジュラー多面体間のフレーリッヒス角を用いて収束を分析し、関連グラフのスぺクトル特性と関連付ける。
• サブモジュラー多面体の幾何とスぺクトルグラフ理論の結果を用いて、収束レートの境界を導出する。
• 収束レートが1から一様に離れていることを確立し、すべての分解可能サブモジュラー関数に対して線形収束が保証されることを示す。

実験結果

リサーチクエスチョン

• RQ1 分解可能サブモジュラー関数最小化における交互射影法の理論的収束レートは何か？
• RQ2 最悪ケースにおいて収束レートが上界と下界で抑えられるか？
• RQ3 サブモジュラー多面体の幾何が、射影に基づくアルゴリズムの収束行動にどのように影響するか？
• RQ4 スぺクトルグラフ理論を用いて、関数分解の構造的性質に基づいて収束レートを特徴づけられるか？
• RQ5 連続的緩和問題と離散的サブモジュラー最小化問題の両方で線形収束が成立するか？

主な発見

• 交互射影法は、分解可能サブモジュラー関数最小化において線形収束する。収束レートは $ (1 - \frac{1}{N^2 R^2})^k $ で抑えられ、ここで $ N $ は基底集合のサイズ、$ R $ は単純サブモジュラー関数の数である。
• 収束レートの上界は $ O((1 - \frac{1}{N^2 R^2})^k) $ であり、これと一致する下界が確立され、最悪ケースにおいてレートがタイトであることが示された。
• 連続的緩和における双対ギャップは、離散的誤差境界 $ O((1 - \frac{1}{2N^2 R^2})^k) $ に翻訳され、離散問題に対しても線形収束が保たれる。
• 収束レートは1から一様に離れているため、特定の関数構造に依存しない有限時間収束保証が得られる。
• 精度 $ \tilde{O}(\frac{1}{\text{accuracy}}) $ を達成するための実行時間は $ O(N^2 R^2 \text{polylog}(1/\text{accuracy})) $ であり、$ O(1/\text{accuracy}^2) $ の依存性を示す勾配法よりも改善されている。
• 分析により、収束レートはサブモジュラー多面体の幾何と関連グラフのスぺクトル特性によって支配され、アルゴリズム設計を越えた新たな知見が得られた。