[論文レビュー] Optimal approximation for unconstrained non-submodular minimization

Marwa El Halabi, Stefanie Jegelka|arXiv (Cornell University)|May 29, 2019

Complexity and Algorithms in Graphs参考文献 60被引用数 6

ひとこと要約

本稿では、Lovász拡張と投影勾配法（PGM）を活用することで、非単調非下位モジュラー最小化に対する最初の近似保証を提示する。PGMが、$ H(S) \leq \frac{F(S^*)}{\alpha} - \beta G(S^*) + \epsilon $ というタイトな近似バウンドを達成することを示しており、ここで $\alpha$ と $\beta$ は下位モジュラリティおよび上位モジュラリティへの近さを定量化する。結果は、一致する下界によって最適性が確認されており、ノイズあり関数評価にも拡張可能である。

ABSTRACT

Submodular function minimization is well studied, and existing algorithms solve it exactly or up to arbitrary accuracy. However, in many applications, such as structured sparse learning or batch Bayesian optimization, the objective function is not exactly submodular, but close. In this case, no theoretical guarantees exist. Indeed, submodular minimization algorithms rely on intricate connections between submodularity and convexity. We show how these relations can be extended to obtain approximation guarantees for minimizing non-submodular functions, characterized by how close the function is to submodular. We also extend this result to noisy function evaluations. Our approximation results are the first for minimizing non-submodular functions, and are optimal, as established by our matching lower bound.

研究の動機と目的

• 構造的スパース学習やバッチベイズ最適化など、応用で生じる非下位モジュラ関数の最小化における理論的保証の欠如に対処すること。
• 関数がどれほど下位モジュラに近いかを定量化することで、下位モジュラ最小化手法を非下位モジュラ関数へと拡張し、近似品質を特徴づけること。
• ノイズなしおよびノイズあり関数評価の両状況下で、非制約非下位モジュラ最小化に対する最初の近似保証を提供すること。
• 値オракルモデルにおける一致する下界を用いて、提案された近似の最適性を確立すること。
• 構造的スパース学習およびバッチベイズ最適化における分散低減への応用を通じて、実用的妥当性を示すこと。

提案手法

• 一般集合関数 $ H(S) = F(S) - G(S) $ を、$\alpha$-弱いDR下位モジュラな $ F $ と、$\beta$-弱いDR上位モジュラな $ G $ に分解する。
• 近似下位モジュラ関数の凸緩和としてLovász拡張を用い、凸最適化手法を可能にする。
• Lovász拡張の最小化に投影勾配法（PGM）を適用し、元の非下位モジュラ問題に対する近似解を得る。
• 近似品質を $\alpha$ と $\beta$ のパラメータに結びつけることで、下位モジュラリティおよび上位モジュラリティからの逸脱度を測定する。
• ノイズあり関数評価を扱うためのフレームワークを拡張し、ノイズがPGM収束および近似誤差に与える影響を分析する。
• 近似保証の改善に指数的多数のクエリが必要であることを示す一致する下界を証明する。

実験結果

リサーチクエスチョン

• RQ1 下位モジュラ最小化手法を、理論的近似保証を伴って非下位モジュラ関数へと拡張可能か？
• RQ2 非制約非下位モジュラ最小化に対する最もタイトな近似保証は何か？また、それは下位モジュラリティの度合いにどのように依存するか？
• RQ3 ノイズあり関数評価が、非下位モジュラ最小化における近似品質に与える影響は？
• RQ4 Lovász拡張は、非下位モジュラ関数に対して効果的な凸緩和として使用可能か？
• RQ5 提案された近似バウンドは最適か？それとも、より少ないクエリ数で改善可能か？

主な発見

• Lovász拡張にPGMを適用することで、$ H(S) \leq \frac{F(S^*)}{\alpha} - \beta G(S^*) + \epsilon $ という近似バウンドが達成され、これは非制約非下位モジュラ最小化に対する最初の保証である。
• 一致する下界により、近似バウンドの最適性が確認されており、これを改善するにはオракルモデル下で指数的多数の値クエリが必要である。
• ノイズあり関数評価にも拡張可能であり、有界ノイズ下でも近似保証を維持し、ノイズ下でのPGMの収束性および誤差バウンドが導出された。
• 本フレームワークにより、構造的スパース学習およびバッチベイズ最適化における分散低減の両方で、初めての近似保証が得られた。両者ともに非下位モジュラな目的関数を含む。
• 実験により、古典的な下位モジュラ最小化アルゴリズムが非下位モジュラリティおよびノイズに対して依然として頑健であることが確認され、理論的考察が妥当であることが裏付けられた。
• 任意の集合関数は、常に $\alpha$-弱いDR下位モジュラおよび $\beta$-弱いDR上位モジュラ成分に分解可能であるが、関数が下位モジュラリティから逸脱するほど近似品質は低下する。