[論文レビュー] Decomposable Submodular Function Minimization: Discrete and Continuous

Alina Ene, Huy L. Nguyên+1 more|London School of Economics and Political Science Research Online (London School of Economics and Political Science)|Mar 6, 2017

Complexity and Algorithms in Graphs被引用数 15

ひとこと要約

本論文は、分解可能で部分的でない関数最小化（DSFM）における離散的および連続的アプローチの理論的・実験的関係を確立し、組合せ的議論を用いて改良された実行時間の見積もりを提案するとともに、体系的な実験的比較を実施する。実験では、レベル0のオラクルをウォームスタートした座標降下法が、大規模なクリークを含むインスタンスにおいて、正確な組合せ的アルゴリズムを上回ることを示し、従来の手法が失敗するスケーラブルな近似解法の実現を可能にする。

ABSTRACT

This paper investigates connections between discrete and continuous approaches for decomposable submodular function minimization. We provide improved running time estimates for the state-of-the-art continuous algorithms for the problem using combinatorial arguments. We also provide a systematic experimental comparison of the two types of methods, based on a clear distinction between level-0 and level-1 algorithms.

研究の動機と目的

• 分解可能で部分的でない関数最小化（DSFM）における離散的および連続的アプローチを、特に大規模な設定において橋渡しすること。
• 組合せ的解析を用いて連続的アルゴリズムの実行時間見積もりを改善すること。
• レベル0（オラクル）およびレベル1（最適化）のアルゴリズムを区別しながら、離散的および連続的アプローチの体系的実験的比較を実施すること。
• 複雑なポテンシャルを有する現実的で大規模な問題インスタンスにおいて、座標降下法および勾配ベースの手法の性能を評価すること。
• 正確な離散的アルゴリズムが非現実的となるインスタンスにおいて、ウォームスタートされたオラクルを用いた変更された連続的手法が、実用的なスケーラビリティを達成できることを実証すること。

提案手法

• 本論文は、DSFMをベースポリトープ内での最小ノルム点の特定に還元し、凸最適化の定式化を活用する。
• レベル0のアルゴリズム（個々の部分的でない関数のためのオラクルサブルーチン）とレベル1のアルゴリズム（これらのオラクルを用いたグローバル最小化）の区別を導入する。
• レベル0では、特定の関数タイプに対して効率的な実装が可能な、min_{y∈B(f_i)} ||y + w||²₂ を解く二次計画のオラクルを用いる。
• レベル1では、同じオラクルインタフェースを用いて、離散的アルゴリズム（例：IBFS、部分的フロー）と連続的アルゴリズム（勾配降下法、座標降下法）の両方を評価する。
• フジシゲ＝ウルフ法にウォームスタート戦略を導入し、現在の解から初期化することで、1回のオラクルコールあたりの実行時間を短縮する。
• 実験では、一元項、ペアワイズ、二乗、領域ポテンシャルを有する実世界のセグメンテーションデータセットを用い、実行時間と反復回数ごとの収束性を測定する。

実験結果

リサーチクエスチョン

• RQ1 大規模なインスタンスにおいて、DSFMにおける離散的および連続的アプローチの実行時間とスケーラビリティは、どのように比較されるか？
• RQ2 レベル0のオラクルが高コストである場合（例：大規模なクリークにおいて）、組合せ的レベル1アルゴリズムは依然として実用的であるか？
• RQ3 近似レベル0オラクルを用いた座標降下法が、実際のところ正確な離散的アルゴリズムをどの程度上回るか？
• RQ4 フジシゲ＝ウルフ法のウォームスタートは、解の品質を維持しつつ、オラクル時間の大幅な短縮を達成できるか？
• RQ5 連続的アルゴリズムにおいて、反復回数を制限した場合、解の正確性と実行時間のトレードオフはどの程度か？

主な発見

• 小規模なクリークインスタンスでは、IBFSのような離散的レベル1アルゴリズムが、連続的アルゴリズムよりも著しく高速であり、レベル0オラクルが効率的である。
• 大規模なクリークインスタンスでは、Fujishige-Wolfeのような汎用的レベル0オラクルを用いると、IBFSはオラクルコストが高いため非現実的になる。
• ウォームスタートされたFujishige-Wolfeオラクルを用いた座標降下法は、大規模なクリークインスタンスにおいて良好な性能を示し、1000r反復で10分未塔で完了する。
• ウォームスタートされたFujishige-Wolfe法は、レベル0オラクル時間の大幅な短縮を実現し、実用的な時間内で数百回の反復が可能になる。
• ウォームスタートを用いてFujishige-Wolfe法をたった10回の反復で実行するだけで、座標降下法が大規模インスタンスで実用的になるほどの改善が得られる。
• 実験結果は、修正されたオラクルを用いた連続的手法が、正確な離散的手法が非現実的となるインスタンスにおいて、スケーラブルな近似解法を提供できることを確認している。