[論文レビュー] Agnostic Learning of Disjunctions on Symmetric Distributions

Vitaly Feldman, Pravesh K. Kothari|arXiv (Cornell University)|May 27, 2014

Machine Learning and Algorithms参考文献 25被引用数 3

ひとこと要約

本稿では、{0,1}^n 上の対称分布における論理和のアグノスティック学習アルゴリズムを提示し、構造的な基底関数の集合を用いた ℓ₁-近似により、n^{O(log(1/ε))} の実行時間で達成している。低次の多項式では、すべての対称分布においてこの近似が達成できないことを証明し、1/3-近似における Ω(√n) の次数下界を確立している。また、積分布に対しては、O(log(1/ε)) 次の多項式を用いた、より単純な新しい証明が提示されている。

ABSTRACT

We consider the problem of approximating and learning disjunctions (or equivalently, conjunctions) on symmetric distributions over $\{0,1\}^n$. Symmetric distributions are distributions whose PDF is invariant under any permutation of the variables. We give a simple proof that for every symmetric distribution $\mathcal{D}$, there exists a set of $n^{O(\log{(1/ε)})}$ functions $\mathcal{S}$, such that for every disjunction $c$, there is function $p$, expressible as a linear combination of functions in $\mathcal{S}$, such that $p$ $ε$-approximates $c$ in $\ell_1$ distance on $\mathcal{D}$ or $\mathbf{E}_{x \sim \mathcal{D}}[ |c(x)-p(x)|] \leq ε$. This directly gives an agnostic learning algorithm for disjunctions on symmetric distributions that runs in time $n^{O( \log{(1/ε)})}$. The best known previous bound is $n^{O(1/ε^4)}$ and follows from approximation of the more general class of halfspaces (Wimmer, 2010). We also show that there exists a symmetric distribution $\mathcal{D}$, such that the minimum degree of a polynomial that $1/3$-approximates the disjunction of all $n$ variables is $\ell_1$ distance on $\mathcal{D}$ is $Ω( \sqrt{n})$. Therefore the learning result above cannot be achieved via $\ell_1$-regression with a polynomial basis used in most other agnostic learning algorithms. Our technique also gives a simple proof that for any product distribution $\mathcal{D}$ and every disjunction $c$, there exists a polynomial $p$ of degree $O(\log{(1/ε)})$ such that $p$ $ε$-approximates $c$ in $\ell_1$ distance on $\mathcal{D}$. This was first proved by Blais et al. (2008) via a more involved argument.

研究の動機と目的

• 対称分布の下で論理和の効率的アグノスティック学習アルゴリズムを開発すること。これは一様分布を一般化するクラスである。
• 特定の対称分布において失敗する低次の多項式近似の制限を克服すること。
• 対称分布上での論理和の多項式近似に必要な次数のタイトな下界を確立すること。
• 既知の結果（O(log(1/ε))-次多項式が積分布上で ℓ₁-近似に十分である）を、このフレームワークを用いてより単純に証明すること。
• 論理和の学習可能性とノイズ付きスパースパリティの学習の難易度を関連付けること。より高速なアルゴリズムが得られれば、その問題におけるブレークスルーが得られることを示す。

提案手法

• 本手法は、任意の対称分布 D に対して、任意の論理和が S に属する関数の線形結合によって ℓ₁-近似可能であるような、n^{O(log(1/ε))} 個の関数からなる集合 S を構築することに依存する。
• 線形計画法の双対性を用いて、次数 r の多項式による最小 ℓ₁-誤差を分析し、双対解が最良のフィッティング多項式の誤差と最適近似誤差が一致する分布に対応することを示している。
• 積分布の場合、ノイズ感受性解析と高重み入力の確率の上限を用いて、O(log(1/ε))-次多項式が ε-近似に十分であることを示している。
• Ω(√n) の下界の証明は、すべての n 個の変数の論理和が、o(√n) 次の多項式では 1/3 の誤差内で近似できないような特定の対称分布 D を構築することで行われる。
• Kalai 他 (2008) の ℓ₁-回帰フレームワークを応用し、構築された基底を用いて凸最適化により効率的なアグノスティック学習を可能にしている。
• スパースパリティの学習への還元では、論理和とパリティの間の相関の上限を用い、論理和の高速学習が k-スパースパリティの高速学習を意味することを示している。

実験結果

リサーチクエスチョン

• RQ1 対称分布上での論理和のアグノスティック学習は、2次指数時間未満で可能か？ もしそうなら、最適な実行時間複雑度は何か？
• RQ2 なぜ標準的な低次の多項式基底は、すべての対称分布において論理和を近似できないのか？ また、定数誤差近似に必要な最小次数は何か？
• RQ3 積分布に対して既知の結果（O(log(1/ε))-次多項式が ℓ₁-距離で任意の論理和を ε-近似可能）を、このフレームワークを用いてより単純に証明できるか？
• RQ4 対称分布上での論理和の多項式近似に、分布固有の次数下界が存在するか？
• RQ5 対称分布上での論理和のアグノスティック学習アルゴリズムの実行時間の改善が、ノイズ付きスパースパリティの学習という難しい問題の高速化を意味するか？

主な発見

• 本稿では、任意の対称分布上での論理和のアグノスティック学習が n^{O(log(1/ε))} 時間で達成可能であることを確立しており、Wimmer (2010) の n^{O(1/ε⁴)} の既存の境界を改善している。
• 特定の対称分布上で、すべての変数の論理和 x₁∨⋯∨xₙ を ℓ₁ 距離で 1/3-近似できる多項式の次数に Ω(√n) の下界を示しており、一般に低次の多項式では不十分であることを示している。
• 積分布に対しては、Blais 他 (2008) の結果を再現するが、より直接的な議論により、O(log(1/ε))-次多項式が ℓ₁ 距離で任意の論理和を ε-近似可能であることを、より単純に証明している。
• n^{O(log(1/ε))} のサイズの構造的基底による ℓ₁-近似は、直接的に ℓ₁-回帰によるアグノスティック学習アルゴリズムを導き、過剰誤差が ε 未満であることを保証している。
• 一様分布上で n^{o(log(1/ε))} 時間で論理和を学習する任意のアルゴリズムは、ノイズ付き k-スパースパリティの学習に対するサブ指数時間アルゴリズムを意味することを示している。
• 還元により、n^{O(log(1/ε))} よりも高速な実行時間のアルゴリズムが得られれば、学習理論における有名な難問であるスパースパリティの学習の高速化が得られることを示している。