[論文レビュー] Tight Bounds on Low-degree Spectral Concentration of Submodular and XOS functions

Vitaly Feldman, Jan Vondrák|arXiv (Cornell University)|Apr 13, 2015

Machine Learning and Algorithms参考文献 33被引用数 6

ひとこと要約

本稿は、一様分布上のℓ₂ノルムにおける低次の多項式近似の次数に関する、サブモジュラ関数およびXOS関数のタイトな境界を確立する。サブモジュラ関数はε-近似にΘ(1/ε⁴/⁵)次の次数を要するのに対し、XOS関数はΘ(1/ε)次の次数を要する。これは、従来のO(1/ε²)の上界と比較して顕著に改善され、既存の下界と一致するギャップを埋めることを示している。

ABSTRACT

Submodular and fractionally subadditive (or equivalently XOS) functions play a fundamental role in combinatorial optimization, algorithmic game theory and machine learning. Motivated by learnability of these classes of functions from random examples, we consider the question of how well such functions can be approximated by low-degree polynomials in $\ell_2$ norm over the uniform distribution. This question is equivalent to understanding of the concentration of Fourier weight on low-degree coefficients, a central concept in Fourier analysis. We show that 1. For any submodular function $f:\{0,1\}^n ightarrow [0,1]$, there is a polynomial of degree $O(\log (1/ε) / ε^{4/5})$ approximating $f$ within $ε$ in $\ell_2$, and there is a submodular function that requires degree $Ω(1/ε^{4/5})$. 2. For any XOS function $f:\{0,1\}^n ightarrow [0,1]$, there is a polynomial of degree $O(1/ε)$ and there exists an XOS function that requires degree $Ω(1/ε)$. This improves on previous approaches that all showed an upper bound of $O(1/ε^2)$ for submodular and XOS functions. The best previous lower bound was $Ω(1/ε^{2/3})$ for monotone submodular functions. Our techniques reveal new structural properties of submodular and XOS functions and the upper bounds lead to nearly optimal PAC learning algorithms for these classes of functions.

研究の動機と目的

• 一様分布上でのℓ₂ノルムにおけるサブモジュラ関数およびXOS関数の低次の多項式近似のタイトな次数境界を解明すること。
• サブモジュラ関数に対して、従来のO(1/ε²)の上界とΩ(1/ε²/³)の下界とのギャップを埋めること。
• サブモジュラおよびXOS関数のスペクトル集中が、一般の関数クラスではなく、その構造的性質によって本質的に制限されることを確立すること。
• これらの境界が、これらの関数クラスに対してほぼ最適なPAC学習アルゴリズムを構築できることを示すこと。
• 結果がより広いクラスの自己有界関数へは拡張できないこと、すなわちそれらは指数的に高い次数を要することを示すこと。

提案手法

• サブモジュラおよびXOS関数のフーリエスペクトルを分析し、低次の係数にℓ₂ノルムがどのように集中するかを定量化する。
• ノイズ感度およびインフルエンスに基づく技術を用いて、ε-近似に必要な次数の上界を導出する。
• ハミング符号を用いた組合せ的構成を用いて、下界の具体例を構築する。これにより、難易度の高いブール関数を自己有界関数に埋め込む。
• 近似におけるℓ₂ノルムとフーリエ重み分布の双対性を応用し、多項式次数と近似誤差の関係を明確にする。
• 一般ブール関数の学習問題を、自己有界関数への確率的埋め込みによって自己有界関数の学習問題に還元し、必要な次数の下界を確立する。
• ジャンタ近似および総インフルエンスに関する結果を活用し、サブモジュラおよびXOS関数の次数境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 一様分布上でのℓ₂ノルムにおいて、任意のサブモジュラ関数f: {0,1}ⁿ → [0,1]をε-近似するのに必要なタイトな次数境界は何か？
• RQ2 一様分布上でのℓ₂ノルムにおいて、任意のXOS関数f: {0,1}ⁿ → [0,1]をε-近似するのに必要なタイトな次数境界は何か？
• RQ3 サブモジュラ関数近似に対して、従来のO(1/ε²)の上界は改善可能か？ もしあるならば、どの程度改善できるか？
• RQ4 サブモジュラおよびXOS関数のスペクトル集中は、一般の自己有界関数とは本質的に異なるものか？
• RQ5 導出された次数境界は、サブモジュラおよびXOS関数のほぼ最適なPAC学習アルゴリズムの構築に利用可能か？

主な発見

• 任意のサブモジュラ関数f: {0,1}ⁿ → [0,1]について、ℓ₂ノルムにおけるε-近似に必要な次数はO(log(1/ε)/ε⁴/⁵)であり、これは対数要因を除いてタイトである。
• ε-近似にΩ(1/ε⁴/⁵)次の次数を要するサブモジュラ関数が存在し、これは上界と対数要因を除いて一致する。
• 任意のXOS関数f: {0,1}ⁿ → [0,1]について、ℓ₂ノルムにおけるε-近似に必要な次数はO(1/ε)であり、これはタイトである。
• ε-近似にΩ(1/ε)次の次数を要するXOS関数が存在し、上界のタイトさが裏付けられる。
• 本結果は、サブモジュラおよびXOS関数の両方について、従来のO(1/ε²)の上界を改善しており、以前の単調サブモジュラ関数に対するΩ(1/ε²/³)の下界と一致するギャップを埋めている。
• サブモジュラおよびXOS関数のスペクトル集中の境界は、より広い自己有界関数のクラスへは拡張できない。なぜなら、そのような関数はΩ(1/ε²)次の次数を要するためであり、構造的性質における本質的な違いを示している。