[論文レビュー] Curvature and Optimal Algorithms for Learning and Minimizing Submodular Functions

Rishabh Iyer, Stefanie Jegelka+1 more|arXiv (Cornell University)|Nov 8, 2013

Complexity and Algorithms in Graphs参考文献 52被引用数 50

ひとこと要約

本稿では、部分加法的関数の近似、学習、最小化の複雑さを決定する主要な構造的パラメータとして曲率を導入する。曲率に依存する上界および下界を提供し、先行研究を著しく精緻化しており、低曲率の関数に対してはアルゴリズムがはるかに優れた近似要因を達成することを示しており、複数の問題設定において理論的予測と実験結果がよく一致している。

ABSTRACT

We investigate three related and important problems connected to machine learning: approximating a submodular function everywhere, learning a submodular function (in a PAC-like setting [53]), and constrained minimization of submodular functions. We show that the complexity of all three problems depends on the 'curvature' of the submodular function, and provide lower and upper bounds that refine and improve previous results [3, 16, 18, 52]. Our proof techniques are fairly generic. We either use a black-box transformation of the function (for approximation and learning), or a transformation of algorithms to use an appropriate surrogate function (for minimization). Curiously, curvature has been known to influence approximations for submodular maximization [7, 55], but its effect on minimization, approximation and learning has hitherto been open. We complete this picture, and also support our theoretical claims by empirical results.

研究の動機と目的

• 曲率が部分加法的関数の近似、学習、最小化の複雑さにどのように影響するかを理解すること。
• 曲率をパラメータとして組み込むことにより、既存の多項式時間近似境界を精緻化すること。
• 最小化および学習における曲率の役割を理解する理論的ギャップを埋めること。これは、従来、最大化の問題でのみ研究されていた。
• 実際の応用において曲率が近似性能に強く影響することを実証的に検証すること。
• 曲率に依存する境界が、改善された近似要因を達成するために必要かつ十分であることを示し、既存の結果を統合・拡張すること。

提案手法

• 部分加法的関数におけるモジュラリティからの逸脱度を定量化する曲率係数 $\kappa_f$ を導入する。
• 関数のブラックボックス変換を用いて、曲率に依存する近似および学習アルゴリズムを導出する。
• 既存の最小化アルゴリズムを変換し、曲率に適した代理関数を用いることで、近似保証を向上させる。
• 曲率を制御しつつ構造を維持するため、正規化された部分加法的関数 $f^R_\kappa(X) = \kappa f(X) + (1-\kappa)|X|$ を定義する。
• 既知の難問（例えば完全マッチングや最小エッジカバー）からの還元を用いて下界を証明する。
• 曲率を調整可能な合成部分加法的関数を用いた実験的評価により、理論的境界の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 曲率は、部分加法的関数の学習および最小化における近似要因にどのように影響するか？
• RQ2 曲率に依存する境界は、既存の部分加法的問題の多項式時間近似限界をどのように精緻化できるか？
• RQ3 理論的境界と実験的性能の間に顕著なギャップがあるか、特に低曲率の関数においては？
• RQ4 曲率は、最小化や学習を含む部分加法的最適化問題の統一的パラメータとして機能できるか？
• RQ5 MUB や EA といった既存のアルゴリズムは、曲率が変化する際に実際にはどのように動作するか？

主な発見

• 本稿では、PMAC学習における下界が $\Omega(n^{1/3})$、近似における下界が $\Omega(\sqrt{n}/\log n)$ であり、両者とも曲率によって精緻化されている。
• 最小部分加法的エッジカバー問題において、近似要因は $\frac{n^{1-3\epsilon}}{2+(n^{1-3\epsilon}-2)(1-\kappa_f)+2\delta\kappa_f}$ で下界に抑えられ、曲率依存性が明確に示されている。
• 実験結果では、近似要因が理論的境界に非常に良く一致しており、曲率 $\kappa$ が小さくなるにつれて著しく改善している。
• ${\alpha \geq n^{2/3}}$ の場合、EAアルゴリズムは最適解を発見する。これは、高カーディナリティ制約と低曲率が正確な最適化を可能にすることを示している。
• ${n}$ が増加するにつれ、理論的および実験的境界は $1/(1-\kappa)$ に飽和し、固定された $\kappa < 1$ に対して $n$ とは無関係な定数近似要因となることが示された。
• 結果から、曲率が可解性の主要な決定要因であることが確認された。$\kappa \approx 1$ の関数よりも、低曲率の関数は著しく学習および最適化が容易である。