[论文解读] Complexity theoretic limitations on learning DNF's

Amit Daniely, Shai Shalev-Shwatz|arXiv (Cornell University)|Apr 13, 2014

Machine Learning and Algorithms参考文献 26被引用 16

一句话总结

本文在自然平均-case复杂性假设下建立了学习DNN公式、ω(log n)个半空间交集以及其他一些基本学习问题的计算困难性：即对具有O(n)个子句的随机K-SAT公式进行反驳是困难的。通过采用先前工作的框架，作者表明，若此类公式的反驳是不可行的，则在标准的无分布假设下，这些类别的高效学习（甚至在agnostic设置下）也是不可能的。

ABSTRACT

Using the recently developed framework of [Daniely et al, 2014], we show that under a natural assumption on the complexity of refuting random K-SAT formulas, learning DNF formulas is hard. Furthermore, the same assumption implies the hardness of learning intersections of $ω(\log(n))$ halfspaces, agnostically learning conjunctions, as well as virtually all (distribution free) learning problems that were previously shown hard (under complexity assumptions).

研究动机与目标

• 在合理的平均-case复杂性假设下，建立学习DNF公式及相关概念类的计算困难性结果。
• 通过利用关于随机K-SAT反驳的自然假设，弥合PAC学习中已知的算法性能与困难性结果之间的差距。
• 扩展Daniely和Shalev-Shwartz（2014）的框架，基于一个有充分动机的假设，得出强而无分布依赖的下界。
• 证明多个基本类别的困难性（例如，半空间交集、合取、奇偶性）可由单一、广泛研究的假设推导而出。
• 提供一个统一的复杂性理论基础来支撑学习困难性，尽可能避免依赖密码学假设。

提出的方法

• 采用Daniely和Shalev-Shwartz（2014）提出的复杂性理论学习框架，将学习问题归约为区分可实现样本与随机样本的问题。
• 提出一个新假设：对具有O(n)个子句的随机K-SAT公式进行反驳是困难的，该假设推广了Feige对K=3的情形的假设。
• 利用该假设，通过将其归约为区分可实现样本与来自(q(n), β)-分散分布的样本的困难性，证明学习DNF是困难的。
• 将相同的归约技术应用于证明ω(log n)个半空间交集、合取的agnostic学习以及其他类别的困难性。
• 设计一种有限自动机构造，通过反复检查子句违反情况来模拟DNF函数，表明DNF可由小型自动机实现。
• 通过证明：若存在一个学习算法，则意味着存在一个高效的随机K-SAT反驳算法，从而违反假设，导出矛盾。

实验结果

研究问题

• RQ1 在何种自然的平均-case复杂性假设下，可以证明学习DNF公式是计算困难的？
• RQ2 能否在不依赖密码学假设的前提下，建立学习ω(log n)个半空间交集的困难性？
• RQ3 当随机K-SAT反驳困难时，合取和半空间的agnostic学习是否也困难？
• RQ4 能否加强[14]的框架，使其基于一个广泛研究、非人为的假设，得出困难性结果？
• RQ5 何种最小假设足以推导出一类广泛分布无关学习问题的困难性？

主要发现

• 在反驳具有O(n)个子句的随机K-SAT公式是困难的假设下，学习DNF公式是计算困难的。
• 在相同假设下，即使在布尔立方体上，学习ω(log n)个半空间交集也是困难的。
• 在相同假设下，合取的agnostic学习是困难的，提供了非密码学的困难性结果。
• 在K-SAT反驳假设下，即使数据分布是均匀的，半空间和奇偶性的agnostic学习也是困难的。
• 该假设还意味着有限自动机学习的困难性，扩展了框架的适用范围。
• 这些结果确立了几乎所有先前在更强或不那么自然的假设下被证明困难的（无分布）学习问题的困难性。