[論文レビュー] Efficient Minimization of Decomposable Submodular Functions

Peter Stobbe, Andreas Krause|arXiv (Cornell University)|Oct 26, 2010

Complexity and Algorithms in Graphs参考文献 18被引用数 91

ひとこと要約

本稿では、モジュラー関数に適用された凹関数の和として表現可能な、分解可能サブモジュラー関数を効率的に最小化するための新規アルゴリズムSLGを提案する。Lovász拡張上での滑らか化凸最適化を活用することで、最先端の汎用サブモジュラー最小化アルゴリズムと比較して、数個のオーダーの高速化を達成し、数万変数の問題にスケーリング可能である。合成ベンチマークおよび画像処理における連合分類・セグメンテーションタスクで実証された。

ABSTRACT

Many combinatorial problems arising in machine learning can be reduced to the problem of minimizing a submodular function. Submodular functions are a natural discrete analog of convex functions, and can be minimized in strongly polynomial time. Unfortunately, state-of-the-art algorithms for general submodular minimization are intractable for larger problems. In this paper, we introduce a novel subclass of submodular minimization problems that we call decomposable. Decomposable submodular functions are those that can be represented as sums of concave functions applied to modular functions. We develop an algorithm, SLG, that can efficiently minimize decomposable submodular functions with tens of thousands of variables. Our algorithm exploits recent results in smoothed convex minimization. We apply SLG to synthetic benchmarks and a joint classification-and-segmentation task, and show that it outperforms the state-of-the-art general purpose submodular minimization algorithms by several orders of magnitude.

研究の動機と目的

• 機械学習分野における大規模問題における一般サブモジュラー関数最小化の計算的非効率性に対処すること。
• 効率的な最小化が可能な、サブモジュラー関数の新たな部分集合を同定・特定すること。
• これらの関数を効率的に最小化するためのアルゴリズムSLGを開発すること。
• 実世界の機械学習タスク、特に高次ポテンシャルを有する画像セグメンテーションを含む、SLGの実用的スケーラビリティと性能を実証すること。

提案手法

• 本稿では、モジュラー関数に適用された凹関数の和として表現可能な、分解可能サブモジュラー関数を導入する。
• 離散サブモジュラー関数の凸連続緩和としてのLovász拡張を用いて問題を定式化する。
• SLGは、Lovász拡張上に滑らか化凸最適化技術を適用し、勾配に基づく手法による効率的最適化を可能にする。
• 集合差分と関数値を含む順列に基づく公式を用いて、Lovász拡張の部分勾配を計算する。
• 微分の明示的計算を回避するため、ガウスカーネル上で積分するスムージング技術を用いる。これにより、効率的な部分勾配評価が可能になる。
• MATLAB/Mexで実装され、合成的および実世界の高次ポテンシャル付き画像セグメンテーションタスクに適用された。

実験結果

リサーチクエスチョン

• RQ1 ペairwiseポテンシャルを超える効率的最小化が可能な、サブモジュラー関数の新たな部分集合を同定できるか？
• RQ2 Lovász拡張に滑らか化凸最適化技術を効果的に適用することで、大規模サブモジュラー最小化問題を解くことができるか？
• RQ3 SLGの性能は、大規模問題における最先端の汎用サブモジュラー最小化アルゴリズムと比較してどの程度か？
• RQ4 SLGは、数万変数の問題にスケーリング可能であり、正確またはほぼ正確な解を維持できるか？

主な発見

• 10,000変数および90個の凹関数ポテンシャルを持つ問題において、SLGは71.4秒で実行されたのに対し、MinNormアルゴリズムは6,900秒を要し、時間は95％削減された。
• 40,000変数のより大きな画像において、SLGは約1,600秒で完了し、組合せ的アルゴリズムでは到達できないスケーラビリティを示した。
• 合成ベンチマークにおいて、SLGはより高速なマシンと単純な実装にもかかわらず、MinNormアルゴリズムを最大6倍の速度で上回った。
• 画像領域から導出された高次で凹関数のポテンシャルを組み込むことで、境界領域のセグメンテーション精度が向上した。
• 一般用途のサブモジュラー最小化が非現実的となる問題においても、SLGは正確な最適性保証を維持しながら実用的な実行時間性能を達成した。
• 結果から、SLGは従来の手法が計算複雑性のため失敗する、連合分類・セグメンテーションのような大規模機械学習タスクにおいて実用的であることが示された。