[論文レビュー] Near Optimal Algorithms for Hard Submodular Programs with Discounted Cooperative Costs

Rishabh Iyer, Jeffrey A. Bilmes|arXiv (Cornell University)|Feb 26, 2019

Complexity and Algorithms in Graphs被引用数 3

ひとこと要約

本稿は、凹関数をモジュラー関数の和として制限した低ランクのコスト関数を用いることで、制約付きサブモジュラー最小化、サブモジュラー被覆、比最小化といった困難なサブモジュラー最適化問題に対する近似的最適なアルゴリズムを提案する。一般のサブモジュラー関数ではΩ(√n)の下界に陥るのに対し、本手法は定数倍近似保証を達成し、協調的コストを伴う機械学習応用分野（例：協調的画像マッチング、割引付きセンサー配置）において強固な理論的保証を提供する。

ABSTRACT

In this paper, we investigate a class of submodular problems which in general are very hard. These include minimizing a submodular cost function under combinatorial constraints, which include cuts, matchings, paths, etc., optimizing a submodular function under submodular cover and submodular knapsack constraints, and minimizing a ratio of submodular functions. All these problems appear in several real world problems but have hardness factors of $Ω(\sqrt{n})$ for general submodular cost functions. We show how we can achieve constant approximation factors when we restrict the cost functions to low rank sums of concave over modular functions. A wide variety of machine learning applications are very naturally modeled via this subclass of submodular functions. Our work therefore provides a tighter connection between theory and practice by enabling theoretically satisfying guarantees for a rich class of expressible, natural, and useful submodular cost models. We empirically demonstrate the utility of our models on real world problems of cooperative image matching and sensor placement with cooperative costs.

研究の動機と目的

• 一般のサブモジュラー関数コスト関数下で、制約付きサブモジュラー最小化および二重最適化問題が直面するΩ(√n)の最悪ケース近似要因の問題に対処すること。
• 機械学習における現実の協調的コストを自然にモデル化できる、低ランクの凹関数-モジュラー関数の和としてのサブモジュラー関数の、取り扱いやすく表現力のある部分クラスを同定すること。
• 一般のサブモジュラー関数ではそのような境界が得られないのに対し、この部分クラスに対して定数倍近似保証を提供することで、理論と実践のギャップを埋めること。
• 協調的コスト構造を有する実世界の問題（例：協調的画像マッチング、グループベースの割引付きセンサー配置）において、提案されたアルゴリズムの実証的妥当性を検証すること。

提案手法

• 本稿では、f(X) = Σᵢ₌₁ᵏ ψᵢ(wᵢ(X)) と定式化し、ψᵢを単調な凹関数、wᵢをモジュラー関数とし、kを定数またはO(log n)とすることで、低ランク和としてサブモジュラー関数コストをモデル化する。
• 低ランク構造を活かした、サブモジュラー被覆制約下でのサブモジュラーコスト最小化に特化した、新規の貪欲法アルゴリズム「PLA（Primal-Linear Approximation）」を導入する。
• コスト関数内の凹成分の線形近似を用いることで、理論的保証を維持したまま効率的な最適化を可能にする。
• 理論的分析により、低ランクの凹関数-モジュラー関数の和の仮定のもと、近似因子が一般のサブモジュラー関数のΩ(√n)から定数に改善されることを示す。これはサブモジュラー比最小化のような問題に対しても同様に成り立つ。
• 実世界の応用として、サブモジュラーマッチングコストを用いた協調的画像マッチングと、グループベースのコスト割引を伴うセンサー配置を用いた評価を実施する。
• 提案手法は、例えばSGAやコストに依存しない貪欲法といったベースライン手法と比較され、被覆性およびコスト効率の両面で優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 コスト関数が低ランクの凹関数-モジュラー関数の和に制限された場合、困難なサブモジュラー最適化問題に対して定数倍近似を達成できるか？
• RQ2 サブモジュラー関数コストの低ランク構造が、一般のサブモジュラー関数と比較して、理論的近似保証をどのように向上させるか？
• RQ3 このフレームワークは、画像マッチングやセンサー配置といった協調的コスト構造を持つ実世界の機械学習問題に効果的に適用可能か？
• RQ4 実用的状況下で、提案されたアルゴリズム（PLA, SGA）は、標準的な貪欲ベースラインと比較して、目的関数値およびコスト効率の面で優れているか？

主な発見

• 低ランクの凹関数-モジュラー関数の和のコスト仮定のもと、制約付きサブモジュラー最小化、サブモジュラー被覆、比最小化問題に対して、一般のサブモジュラー関数が直面するΩ(√n)の下界を克服した定数倍近似保証を達成した。
• センサー配置の実験では、PLAアルゴリズムがSGAおよびコストに依存しない貪欲法を上回り、相互情報量被覆性を高める一方で、グループベースのコスト割引を効果的に活用した。
• 協調的画像マッチングの実験では、標準的な線形割り当て手法と比較して、不適切なマッチングペアの数を顕著に削減し、マッチング品質の向上を示した。
• センサー配置におけるコスト関数の区分線形近似により、PLAは正確な最適化を達成でき、非加法的で構造的なコストを持つ設定においてその有効性を裏付けた。
• 実験結果から、PLAおよびSGAは、協調的コスト構造が存在する状況では、コストに依存しない貪欲法を一貫して上回ることが示された。
• 理論的枠組みは、規模の経済や協調的コストを伴う現実の応用分野におけるサブモジュラー最適化理論と実践の強固な接続を提供した。