[論文レビュー] Complexity Theoretic Limitations on Learning Halfspaces

Amit Daniely|arXiv (Cornell University)|May 21, 2015

Machine Learning and Algorithms参考文献 41被引用数 5

ひとこと要約

本稿は、ランダムな $K$-XOR式を反証することが難しいという仮定の下で、半空間の学習における強い計算的硬さの結果を確立する。これは、最良の半空間の誤差が任意に小さくても、非自明な近似比を達成できる効率的アルゴリズムは存在しないことを示しており、正確な学習を超える半空間のアグノスティック学習における根本的な障壁を示している。

ABSTRACT

We study the problem of agnostically learning halfspaces which is defined by a fixed but unknown distribution $\mathcal{D}$ on $\mathbb{Q}^n imes \{\pm 1\}$. We define $\mathrm{Err}_{\mathrm{HALF}}(\mathcal{D})$ as the least error of a halfspace classifier for $\mathcal{D}$. A learner who can access $\mathcal{D}$ has to return a hypothesis whose error is small compared to $\mathrm{Err}_{\mathrm{HALF}}(\mathcal{D})$. Using the recently developed method of the author, Linial and Shalev-Shwartz we prove hardness of learning results under a natural assumption on the complexity of refuting random $K$-$\mathrm{XOR}$ formulas. We show that no efficient learning algorithm has non-trivial worst-case performance even under the guarantees that $\mathrm{Err}_{\mathrm{HALF}}(\mathcal{D}) \le η$ for arbitrarily small constant $η>0$, and that $\mathcal{D}$ is supported in $\{\pm 1\}^n imes \{\pm 1\}$. Namely, even under these favorable conditions its error must be $\ge \frac{1}{2}-\frac{1}{n^c}$ for every $c>0$. In particular, no efficient algorithm can achieve a constant approximation ratio. Under a stronger version of the assumption (where $K$ can be poly-logarithmic in $n$), we can take $η= 2^{-\log^{1-ν}(n)}$ for arbitrarily small $ν>0$. Interestingly, this is even stronger than the best known lower bounds (Arora et. al. 1993, Feldamn et. al. 2006, Guruswami and Raghavendra 2006) for the case that the learner is restricted to return a halfspace classifier (i.e. proper learning).

研究の動機と目的

• アグノスティック設定における半空間の学習に関する強い計算複雑性の限界を確立すること。
• 学習アルゴリズムの既知の上界と既存の下界の間のギャップを埋めること。
• 最良の誤差が非常に小さいという好都合な条件下でも、効率的アルゴリズムが定数近似比を達成できないことを示すこと。
• 正確な学習を超える定量的制限を示すことで、先行の硬さの結果を拡張すること。

提案手法

• Daniely ら (2015) が最近開発したフレームワークを用いて、学習の硬さをランダムな $K$-XOR式の反証の難易度に還元する。
• ランダムな $K$-XOR式の擬似ランダム性の性質を用いて、低次の多項式近似に対してその割り当てが一様分布と区別できないことを示す。
• 多項式近似技術を適用し、ランダムな制約上でXOR関数を近似する任意の仮説は、高い次数を持つ必要があることを示し、計算的に困難であることを示す。
• $K$-XOR問題を多数の$q$-XOR問題に還元することで完全性を強化し、硬さ仮定を強化する。
• 半空間表現性を保ちながら、$\{-1,1,0\}^n$ から $\{\pm 1\}^n$ に硬さの結果を移すためのリフト写像 $\Psi$ を用いる。
• 分布的議論を用いて、低次の多項式が擬似ランダムなインスタンス上でXOR関数を近似できるならば、一様入力に対しても同様に近似できるはずであり、次数が小さすぎる場合には矛盾が生じることを示す。

実験結果

リサーチクエスチョン

• RQ1 効率的学習アルゴリズムは、弱い誤差仮定の下で、半空間のアグノスティック学習に対して定数近似比を達成できるか？
• RQ2 最良の半空間誤差が任意に小さくても、非自明な近似が不可能である計算的障壁は存在するか？
• RQ3 ランダムな $K$-XOR式の反証が難しいという事実を、半空間の学習における強い硬さの結果を確立するために利用できるか？
• RQ4 $K$-XORの反証が難しいという仮定は、従来の結果よりも強い硬さを、適切な学習アルゴリズムに対して示すのか？
• RQ5 硬さの結果は、$\{-1,1,0\}^n$ を必要としていたのではなく、$\{\pm 1\}^n \times \{\pm 1\}$ にサポートされた分布に対しても拡張可能か？

主な発見

• 任意の $c > 0$ に対して、最良の半空間誤差 $\operatorname{Err}_{\mathrm{HALF}}({\cal D}) \leq \eta$ が任意に小さな定数 $\eta > 0$ であっても、効率的アルゴリズムが $\frac{1}{2} - \frac{1}{n^c}$ よりも小さい誤差を達成することは不可能である。
• $K$-XORが $n$ の対数的多項式関数としての $K$ で反証することが難しいという仮定のもと、任意の小さな $\nu > 0$ に対して、$2^{\log^{1-\nu}(n)}$ の要因まで近似の硬さが示される。
• 結果として、最良の誤差が非常に小さくても、効率的学習アルゴリズムが定数近似比を達成することは不可能であることが示された。
• 不適切な学習（仮説が半空間でなくてもよい）に対しても硬さの結果が成り立つため、適切な学習を超える根本的な障壁が存在することが示された。
• このフレームワークは、$\{\pm 1\}^n \times \{\pm 1\}$ にサポートされた分布に対しても拡張可能であり、$\{-1,1,0\}^n$ を必要としていた先行の結果を強化している。
• 本稿は、従来の研究が正確な学習（近似比1）を除外するにとどまっていたのに対し、定量的に強い硬さを示した点で、先行研究を改善している。