[论文解读] Hardness of Noise-Free Learning for Two-Hidden-Layer Neural Networks

Sitan Chen, Aravind Gollakota+2 more|arXiv (Cornell University)|Feb 10, 2022

Machine Learning and Algorithms被引用 6

一句话总结

本文在无噪声设置下，首次建立了针对高斯输入的两隐藏层 ReLU 神经网络学习的无条件超多项式统计查询（SQ）下界。通过改进 Daniely 与 Vardi 提出的提升技术，作者克服了 Vempala 与 Wilmes 提出的已知障碍，并证明即使对于这种浅层架构，高效的 SQ 学习也是不可能的，同时在学习带取整（LWR）假设下，也得出了密码学硬度结果。

ABSTRACT

We give superpolynomial statistical query (SQ) lower bounds for learning two-hidden-layer ReLU networks with respect to Gaussian inputs in the standard (noise-free) model. No general SQ lower bounds were known for learning ReLU networks of any depth in this setting: previous SQ lower bounds held only for adversarial noise models (agnostic learning) or restricted models such as correlational SQ. Prior work hinted at the impossibility of our result: Vempala and Wilmes showed that general SQ lower bounds cannot apply to any real-valued family of functions that satisfies a simple non-degeneracy condition. To circumvent their result, we refine a lifting procedure due to Daniely and Vardi that reduces Boolean PAC learning problems to Gaussian ones. We show how to extend their technique to other learning models and, in many well-studied cases, obtain a more efficient reduction. As such, we also prove new cryptographic hardness results for PAC learning two-hidden-layer ReLU networks, as well as new lower bounds for learning constant-depth ReLU networks from label queries.

研究动机与目标

• 弥合已知的一隐藏层网络的困难结果与两隐藏层网络在无噪声设置下是否可学习这一开放问题之间的差距。
• 克服传统障碍：即 Vempala 与 Wilmes 所指出的，一般 SQ 下界无法适用于实值、非退化的神经网络族。
• 为权重多项式有界的两隐藏层 ReLU 网络学习，建立无条件的 SQ 下界与密码学硬度结果。
• 将 Daniely-Vardi 提升框架的适用范围扩展至完整的 SQ 学习与标签查询模型。
• 证明在标准密码学假设下，即使常数深度的 ReLU 网络也难以通过标签查询学习。

提出的方法

• 改进了 Daniely-Vardi 的提升过程，将布尔 PAC 学习问题转化为高斯问题，从而实现一般 SQ 下界的适用。
• 构建了一个保持布尔函数结构的提升映射，通过 ReLU 网络将布尔函数嵌入高斯空间。
• 利用提升后的函数在高斯设置中模拟 SQ 查询与标签查询，同时保持原始布尔问题的困难性。
• 利用 TC⁰ 与 ACC⁰ 中已知的伪随机函数（PRF）构造，推导出对更深 ReLU 网络的密码学硬度。
• 证明任何在标签查询模型中的高效学习者都可用于破解 PRF，从而在标准假设下表明其不可行性。
• 通过证明任何 SQ 算法必须进行超多项式查询或具有可忽略的容忍度，建立了无条件的 SQ 下界，该下界不依赖于密码学假设。

实验结果

研究问题

• RQ1 尽管先前结果表明此类下界在无噪声高斯设置下不可能存在，是否仍可为两隐藏层 ReLU 网络学习证明超多项式 SQ 下界？
• RQ2 Daniely 与 Vardi 的提升技术是否可扩展至完整的统计查询模型，而不仅限于相关性 SQ？
• RQ3 能否在标准假设（如学习带取整，LWR）下建立 ReLU 网络学习的密码学硬度结果？
• RQ4 是否可利用伪随机函数构造，证明常数深度 ReLU 网络从标签查询学习的困难性？
• RQ5 能否绕过 Vempala 与 Wilmes 所识别的非退化障碍，从而为实值神经网络建立一般 SQ 下界？

主要发现

• 本文首次为在标准高斯分布上学习两隐藏层 ReLU 网络建立了无条件的超多项式 SQ 下界。
• 任何用于学习多项式大小（poly(d)）的两隐藏层 ReLU 网络、在平方损失为 1/poly(d) 条件下的 SQ 算法，必须进行至少 d^ω(1) 次查询，或具有可忽略的查询容忍度。
• 该 SQ 下界为无条件成立，不依赖于密码学假设，从而否定了传统观点：即在无噪声设置下此类下界不可能存在。
• 在学习带取整（LWR）假设下建立了密码学硬度，表明学习两隐藏层 ReLU 网络的困难程度等价于破解 LWR。
• 在标准 PRF 假设下，证明了常数深度 ReLU 网络的标签查询学习是困难的：深度为 6 的网络在 DDH 假设下困难，而深度为 O(1) 的网络在 LWE 假设下困难。
• 作者将 Daniely-Vardi 提升框架扩展至支持完整的 SQ 与标签查询模型，从而实现了从布尔学习到高斯学习的新归约。