[论文解读] From average case complexity to improper learning complexity

Amit Daniely, Nati Linial+1 more|arXiv (Cornell University)|Nov 10, 2013

Machine Learning and Algorithms参考文献 27被引用 6

一句话总结

本文提出了一种新颖的技术，通过将不当学习的困难性归约为随机约束满足问题（CSPs）的平均情况复杂性，来证明其困难性。在广义的费杰型假设下，作者建立了强有力的下界，表明即使在布尔立方体上，学习 DNF、以常数近似比进行鲁棒学习半空间，以及学习 ω(1) 个半空间的交集在计算上也是不可行的。

ABSTRACT

The basic problem in the PAC model of computational learning theory is to determine which hypothesis classes are efficiently learnable. There is presently a dearth of results showing hardness of learning problems. Moreover, the existing lower bounds fall short of the best known algorithms. The biggest challenge in proving complexity results is to establish hardness of {\em improper learning} (a.k.a. representation independent learning).The difficulty in proving lower bounds for improper learning is that the standard reductions from $\mathbf{NP}$-hard problems do not seem to apply in this context. There is essentially only one known approach to proving lower bounds on improper learning. It was initiated in (Kearns and Valiant 89) and relies on cryptographic assumptions. We introduce a new technique for proving hardness of improper learning, based on reductions from problems that are hard on average. We put forward a (fairly strong) generalization of Feige's assumption (Feige 02) about the complexity of refuting random constraint satisfaction problems. Combining this assumption with our new technique yields far reaching implications. In particular, 1. Learning $\mathrm{DNF}$'s is hard. 2. Agnostically learning halfspaces with a constant approximation ratio is hard. 3. Learning an intersection of $ω(1)$ halfspaces is hard.

研究动机与目标

• 为计算学习理论中已知学习算法与已证明下界之间长期存在的差距提供解决方案。
• 克服在不当学习中证明困难性的挑战，因为标准的 NP-难归约在此失效。
• 开发一种不依赖密码学假设的新方法，用于证明不当学习的下界。
• 将费杰对随机 3-SAT 反驳的假设推广到更广泛的 CSP 类别，以获得更强的复杂性结果。
• 通过证明 DNF 和半空间交集等基本学习问题的不可计算性，展示该新方法的威力。

提出的方法

• 提出一个广义的费杰型假设，即对具有特定谓词 P 和约束比率 C > 0 的随机 CSP 进行反证在平均情况下是困难的。
• 引入一种归约框架，将区分可实现样本与随机不可实现样本的困难性与不当学习的不可计算性联系起来。
• 利用统计零知识证明（SZKP）框架，表明若 NP-难问题可归约为随机 CSP 的反证，则多项式层次将坍缩。
• 在广义费杰假设下，通过从反证问题归约，建立 DNF 和半空间交集等学习问题的困难性。
• 利用关于电路中熵与随机性的已知结果，对学习实例的信息论复杂性进行有界。
• 将该归约应用于表明：若语言 L 可归约为区分高价值与随机 CSP 实例，则 L 拥有统计零知识证明。

实验结果

研究问题

• RQ1 我们能否在不依赖密码学假设的前提下，证明不当学习的困难性？
• RQ2 随机 CSP 反证的平均情况困难性是否足以推出学习的不可计算性？
• RQ3 费杰对 3-SAT 的假设能否推广至更广泛自然学习问题，以获得更强的下界？
• RQ4 若归约至随机 CSP 反证，多项式层次是否坍缩？
• RQ5 该新方法能否确立 DNF 和半空间交集等基本学习问题的不可计算性？

主要发现

• 在广义费杰型假设下，即使采用不当学习，学习 DNF 也是计算上不可行的。
• 即使在布尔立方体上，以常数近似比进行鲁棒学习半空间也是困难的。
• 在相同假设下，学习 ω(1) 个半空间的交集是不可计算的。
• 该技术表明：若 NP-难问题可归约为具有 C > 0 个约束的随机 CSP 反证，则多项式层次将坍缩。
• 该方法为学习理论中的下界证明提供了一条新的、非密码学的路径，适用于自然学习问题。
• 结果表明，在合理的平均情况复杂性假设下，当前已知算法与基本学习问题下界之间的差距很可能是本质性的。