[论文解读] Conspiracies between Learning Algorithms, Circuit Lower Bounds and Pseudorandomness

Igor Carboni Oliveira, Rahul Santhanam|arXiv (Cornell University)|Nov 3, 2016

Machine Learning and Algorithms参考文献 48被引用 17

一句话总结

本文揭示了学习算法、电路下界与伪随机性之间深刻而意外的联系。它证明了：若能在亚指数时间内非平凡地学习多项式大小电路，则可在准多项式时间内实现强可学习性；并表明：某一电路类中存在伪随机函数，等价于该类不可学习。

ABSTRACT

We study the power of randomized complexity classes that are given oracle access to a natural property of Razborov and Rudich (JCSS, 1997) or its special case, the Minimal Circuit Size Problem (MCSP). We show that in a number of complexity-theoretic results that use the SAT oracle, one can use the MCSP oracle instead. For example, we show that ZPEXP^{MCSP} !subseteq P/poly, which should be contrasted with the previously known circuit lower bound ZPEXP^{NP} !subseteq P/poly. We also show that, assuming the existence of Indistinguishability Obfuscators (IO), SAT and MCSP are equivalent in the sense that one has a ZPP algorithm if and only the other one does. We interpret our results as providing some evidence that MCSP may be NP-hard under randomized polynomial-time reductions.

研究动机与目标

• 揭示学习理论、电路复杂度与伪随机性之间的隐藏联系。
• 建立非平凡地学习某一电路类意味着可在亚指数时间内实现强可学习性的结论。
• 证明某一类中不存在伪随机函数，等价于该类可学习。
• 从非平凡的学习算法推导出新的电路下界。
• 探讨这些联系对最小电路大小问题（MCSP）与自然证明的启示。

提出的方法

• 引入一个‘加速引理’，表明在亚指数时间内实现弱学习，即可推出在准多项式时间内实现强学习。
• 利用学习加速技术，建立随机学习、压缩与区分器模型之间的等价关系。
• 应用非均匀版本的‘学习意味着无PRF’原理的逆命题，将可学习性与不存在指数安全伪随机函数联系起来。
• 使用基于建议的学习引理，为概率类推导出Karp-Lipton型坍缩。
• 通过真值表归约将MCSP归约至TC0-难问题，表明若MCSP ∈ TC0，则NC1 = TC0。
• 利用最坏情况到平均情况的归约与随机自归约，实现复杂度类之间的硬度传递。

实验结果

研究问题

• RQ1 某一电路类的非平凡学习算法是否意味着可在亚指数时间内实现强可学习性？
• RQ2 伪随机函数的存在性与某一电路类的可学习性之间是否存在根本性的等价关系？
• RQ3 能否利用学习算法推导出新的电路下界？
• RQ4 MCSP与低层次电路类（如TC0）之间存在何种关系？
• RQ5 学习、可满足性与去随机化之间的联系能否统一于一个通用框架之下？

主要发现

• 若C[poly(n)]存在一个运行时间在2^n / n^ω(1)内的随机弱学习算法，则对任意ε > 0，C[n^k]可在时间O(2^{n^ε})内以高精度学习。
• 存在ε > 0，使得C[2^{n^ε}]可在时间2^n / n^ω(1)内学习，当且仅当C[poly(n)]可在时间2^{(log n)^O(1)}内学习。
• 在非均匀设置下，C[poly(n)]的非平凡学习等价于C[poly(n)]中不存在指数安全伪随机函数。
• 若(depth-d)-C[n^k]存在一个在时间2^n / n^ω(1)内使用成员查询的弱学习算法，则对所有k ≥ 1，有BPE ⊈ (depth-d)-C[n^k]。
• 若存在对C[2^{n^ε}]有用的P-自然证明（对某个ε > 0），则ZPEXP ⊈ C[poly(n)]。
• 所有非均匀NC1中的函数均可通过TC0可计算的真值表归约约化至MCSP；因此，若MCSP ∈ TC0，则NC1 = TC0。