[论文解读] Learning Depth-Three Neural Networks in Polynomial Time.

Surbhi Goel, Adam R. Klivans|arXiv (Cornell University)|Sep 18, 2017

Machine Learning and Algorithms被引用 20

一句话总结

本文提出 Alphatron，一种用于学习深度为三的神经网络的多项式时间算法，该网络包含一个隐藏层的 Sigmoid 单元，后接平滑、单调的激活函数。通过结合序态回归与核方法，Alphatron 在单位球上的任意分布下均能实现可证明的高效学习，且无需结构假设，标志着首个无假设、高效的此类网络学习算法。

ABSTRACT

We give a polynomial-time algorithm for learning neural networks with one hidden layer of sigmoids feeding into any smooth, monotone activation function (e.g., sigmoid or ReLU). We make no assumptions on the structure of the network, and the algorithm succeeds with respect to {\em any} distribution on the unit ball in $n$ dimensions (hidden weight vectors also have unit norm). This is the first assumption-free, provably efficient algorithm for learning neural networks with more than one hidden layer. Our algorithm-- {\em Alphatron}-- is a simple, iterative update rule that combines isotonic regression with kernel methods. It outputs a hypothesis that yields efficient oracle access to interpretable features. It also suggests a new approach to Boolean function learning via smooth relaxations of hard thresholds, sidestepping traditional hardness results from computational learning theory. Along these lines, we give improved results for a number of longstanding problems related to Boolean concept learning, unifying a variety of different techniques. For example, we give the first polynomial-time algorithm for learning intersections of halfspaces with a margin (distribution-free) and the first generalization of DNF learning to the setting of probabilistic concepts (queries; uniform distribution). Finally, we give the first provably correct algorithms for common schemes in multiple-instance learning.

研究动机与目标

• 开发一种可证明高效的算法，用于学习深度为三的神经网络，且无需对数据分布或网络结构作假设。
• 克服现有学习算法中对数据或网络结构施加严格假设的局限性。
• 统一并改进布尔函数学习中的长期难题，包括半空间交集与概率 DNF 学习。
• 为常见多实例学习方案提供首个正确且可证明的算法。

提出的方法

• Alphatron 采用一种迭代更新规则，结合序态回归与核方法以学习网络权重。
• 该算法使用核化假设空间，以高效表示并优化函数类。
• 它利用硬阈值的平滑松弛来规避布尔函数学习中的传统计算困难。
• 该方法通过学习到的假设确保对可解释特征的 oracle 访问。
• 序态回归用于通过在输出上施加单调性约束来优化预测。
• 该算法在隐藏单元权重位于单位球面上的约束下运行，以确保稳定性和泛化能力。

实验结果

研究问题

• RQ1 能否设计一种多项式时间算法，用于在不假设数据分布或网络结构的前提下学习深度为三的神经网络？
• RQ2 平滑松弛的硬阈值如何改善布尔函数的可学习性？
• RQ3 在无分布依赖设置下，能否高效学习具有间隔的半空间交集？
• RQ4 在均匀分布下，能否将 DNF 学习推广到概率概念？
• RQ5 对于标准多实例学习方案，能否找到首个可证明正确的算法？

主要发现

• Alphatron 是首个无假设、可证明高效的算法，用于学习包含一个 Sigmoid 隐藏层的深度为三的神经网络。
• 该算法在 n 维单位球上的任意分布下均能实现关于时间的多项式时间收敛。
• 它通过学习到的假设提供对可解释特征的高效 oracle 访问。
• 该方法统一并改进了布尔函数学习中的现有结果，包括首个无分布依赖的、用于学习具有间隔的半空间交集的算法。
• 它将 DNF 学习推广到均匀分布下的概率概念，提供了首个此类多项式时间算法。
• 本文首次建立了常见多实例学习方案的可证明正确算法。