[论文解读] Complexity Theoretic Limitations on Learning Halfspaces

Amit Daniely|arXiv (Cornell University)|May 21, 2015

Machine Learning and Algorithms参考文献 41被引用 5

一句话总结

本文在假设随机 $K$-XOR 公式难以反驳的前提下，建立了学习半空间的强计算困难性结果。它证明了，即使最优半空间误差任意小，也不存在任何高效算法能实现非平凡的近似比，揭示了在精确学习之外，半空间的抗干扰学习中存在一个根本性障碍。

ABSTRACT

We study the problem of agnostically learning halfspaces which is defined by a fixed but unknown distribution $\mathcal{D}$ on $\mathbb{Q}^n imes \{\pm 1\}$. We define $\mathrm{Err}_{\mathrm{HALF}}(\mathcal{D})$ as the least error of a halfspace classifier for $\mathcal{D}$. A learner who can access $\mathcal{D}$ has to return a hypothesis whose error is small compared to $\mathrm{Err}_{\mathrm{HALF}}(\mathcal{D})$. Using the recently developed method of the author, Linial and Shalev-Shwartz we prove hardness of learning results under a natural assumption on the complexity of refuting random $K$-$\mathrm{XOR}$ formulas. We show that no efficient learning algorithm has non-trivial worst-case performance even under the guarantees that $\mathrm{Err}_{\mathrm{HALF}}(\mathcal{D}) \le η$ for arbitrarily small constant $η>0$, and that $\mathcal{D}$ is supported in $\{\pm 1\}^n imes \{\pm 1\}$. Namely, even under these favorable conditions its error must be $\ge \frac{1}{2}-\frac{1}{n^c}$ for every $c>0$. In particular, no efficient algorithm can achieve a constant approximation ratio. Under a stronger version of the assumption (where $K$ can be poly-logarithmic in $n$), we can take $η= 2^{-\log^{1-ν}(n)}$ for arbitrarily small $ν>0$. Interestingly, this is even stronger than the best known lower bounds (Arora et. al. 1993, Feldamn et. al. 2006, Guruswami and Raghavendra 2006) for the case that the learner is restricted to return a halfspace classifier (i.e. proper learning).

研究动机与目标

• 在对抗设置下，建立学习半空间的强计算复杂度极限。
• 弥合已知学习算法上界与现有下界之间的差距。
• 表明即使在有利条件下（最优误差很小），也不存在高效算法能实现常数近似比。
• 通过证明超越精确学习的定量限制，扩展先前的困难性结果。

提出的方法

• 利用 Daniely 等人（2015）最近提出的框架，将学习困难性归约为反驳随机 $K$-XOR 公式的困难性。
• 利用随机 $K$-XOR 公式的伪随机性，证明其赋值对于低次多项式近似而言不可区分于均匀分布。
• 应用多项式近似技术，表明任何在随机约束上近似 XOR 函数的假设都必须具有高次多项式，从而暗示计算不可行性。
• 将 $K$-XOR 问题约化为多数 $q$-XOR 问题，以增强完备性并强化困难性假设。
• 使用提升映射 $\Psi$ 将困难性结果从 $\{-1,1,0\}^n$ 传递到 $\{\pm 1\}^n$，同时保持半空间可表示性。
• 采用分布性论证，表明若低次多项式在伪随机实例上近似 XOR 函数，则它也必须在均匀输入上近似该函数，当多项式次数过低时导致矛盾。

实验结果

研究问题

• RQ1 在温和误差假设下，高效学习算法能否实现对半空间对抗学习的常数近似比？
• RQ2 即使最优半空间误差任意小，是否存在阻止非平凡近似的计算障碍？
• RQ3 能否利用反驳随机 $K$-XOR 公式的困难性，建立学习半空间的强困难性结果？
• RQ4 假设 $K$-XOR 难以反驳，是否意味着对正确学习算法而言，其困难性强于以往已知结果？
• RQ5 该困难性结果能否扩展到支持在 $\{\pm 1\}^n \times \{\pm 1\}$ 上的分布，而非 $\{-1,1,0\}^n$？

主要发现

• 即使最优半空间误差 $\operatorname{Err}_{\mathrm{HALF}}({\cal D}) \leq \eta$ 对于任意小的常数 $\eta > 0$，也不存在任何高效算法能实现误差小于 $\frac{1}{2} - \frac{1}{n^c}$（其中 $c > 0$ 为任意常数）。
• 在假设 $K$-XOR 难以反驳（且 $K$ 关于 $n$ 为多对数级别）的前提下，本文展示了近似比高达 $2^{\log^{1-\nu}(n)}$ 的困难性，其中 $\nu > 0$ 为任意小常数。
• 结果排除了高效学习算法实现任何常数近似比的可能性，即使在最优误差任意小的情况下也成立。
• 该困难性结果甚至在非正确学习（improper learning）中也成立，即假设函数不必是半空间，表明其揭示了超越正确学习的根本性障碍。
• 该框架可扩展至支持在 $\{\pm 1\}^n \times \{\pm 1\}$ 上的分布，强化了以往依赖 $\{-1,1,0\}^n$ 的结果。
• 本工作通过展示定量上更强的困难性，改进了先前结果；而早期工作仅排除了精确学习（近似比为 1）的可能性。