[论文解读] Learning circuits with few negations

Blais, Eric, Clément L. Canonne+3 more|arXiv (Cornell University)|Oct 30, 2014

Machine Learning and Algorithms参考文献 2被引用 6

一句话总结

本文研究了具有少量非门的布尔电路的可学习性，提出了一种类结构表征，扩展了马尔可夫定理。该文提出了一种针对具有 t 个非门的电路、在均匀分布下运行时间约为 n^{O(2^t √n/ε)} 的学习算法，并建立了几乎匹配的成员查询下界 2^{\Omega(2^t √n/ε)}，表明该算法在广泛参数范围内本质上是最优的。

ABSTRACT

Monotone Boolean functions, and the monotone Boolean circuits that compute them, have been intensively studied in complexity theory. In this paper we study the structure of Boolean functions in terms of the minimum number of negations in any circuit computing them, a complexity measure that interpolates between monotone functions and the class of all functions. We study this generalization of monotonicity from the vantage point of learning theory, giving near-matching upper and lower bounds on the uniform-distribution learnability of circuits in terms of the number of negations they contain. Our upper bounds are based on a new structural characterization of negation-limited circuits that extends a classical result of A. A. Markov. Our lower bounds, which employ Fourier-analytic tools from hardness amplification, give new results even for circuits with no negations (i.e. monotone functions).

研究动机与目标

• 理解具有有限非门的布尔函数的可学习性，推广单调函数的情形。
• 将马尔可夫关于反演复杂度的经典定理推广至具有有界交错复杂度的更广函数类。
• 为具有 t 个非门的电路开发一种在查询复杂度上与已知下界相匹配的均匀分布学习算法。
• 建立此类电路学习的成员查询复杂度的紧下界，即使对于单调函数（t=0）也成立。

提出的方法

• 通过证明任意 k-交错布尔函数可表示为 f(x) = h(m1(x), ..., mk(x)) 的形式，其中每个 mi 是单调函数，h 是奇偶函数或其否定，从而扩展了马尔可夫定理。
• 利用该结构表征，将布肖蒂和塔莫尼的基于傅里叶的单调函数学习算法推广至具有 t 个非门的电路。
• 应用傅里叶分析工具与困难性放大技术，推导出成员查询复杂度的下界。
• 通过将难学的单调函数与 PAR′_{k,r} 进行函数复合，实现从难学的 k-交错函数到难学的单调函数的约化。
• 利用噪声稳定性界与加法切尔诺夫型集中不等式，证明 PAR′_{k,r} 与奇偶函数的误差极小（η = e^{-k^2/(2r)}）。
• 通过反证法表明：若存在快速学习 k-交错函数的算法，将导致对难学单调函数的更快算法，从而违反已知下界。

实验结果

研究问题

• RQ1 我们能否对具有有界数量非门的布尔函数的结构进行表征？
• RQ2 在均匀分布下，学习具有 t 个非门的电路的最优查询复杂度是多少？
• RQ3 非门数量如何影响布尔函数的可学习性？我们能否实现近似最优的界？
• RQ4 t-非门电路的学习算法是否最优？可以证明哪些下界？

主要发现

• 任意 k-交错布尔函数可被精确表示为 k 个单调函数与一个奇偶函数或其否定的复合。
• 所有属于 Cn_t 的函数（即最多使用 t 个非门可计算的函数）可表示为 h(m1, ..., mT)，其中 T = O(2^t)，h 为奇偶函数或其否定，且每个 mi 为单调函数。
• 所提出的算法在均匀分布下以 n^{O(2^t \sqrt{n}/\varepsilon)} 的时间复杂度实现误差 ε 的学习。
• 对于 t ≤ (1/28) log n 且 ε ∈ [1/n^{1/12}, 1/2 - c] 的情况，存在几乎匹配的下界 2^{\Omega(2^t \sqrt{n}/\varepsilon)} 成员查询，表明该算法本质上是最优的。
• 对于单调函数（t=0），该下界与现有最佳已知下界一致，且本结果将其推广至更广泛的精度范围。
• 下界构造表明，即使对于交错次数较少的函数，当误差较小时学习依然困难，且困难程度随非门数量的增加而增强。