[论文解读] Learning Halfspaces and Neural Networks with Random Initialization

Yuchen Zhang, Jason D. Lee+2 more|arXiv (Cornell University)|Nov 25, 2015

Machine Learning and Algorithms参考文献 29被引用 22

一句话总结

本文提出了基于随机初始化的算法，用于学习具有非凸、Lipschitz连续损失函数的半空间和深度神经网络。通过结合多次随机初始化与局部优化，该方法在样本大小和维度的多项式时间内实现任意小的过剩风险，但时间复杂度在 $ (L/ au^2) au(L/ au) $ 上呈指数增长，且在标准复杂度假设下存在匹配的困难性结果。

ABSTRACT

We study non-convex empirical risk minimization for learning halfspaces and neural networks. For loss functions that are $L$-Lipschitz continuous, we present algorithms to learn halfspaces and multi-layer neural networks that achieve arbitrarily small excess risk $ε>0$. The time complexity is polynomial in the input dimension $d$ and the sample size $n$, but exponential in the quantity $(L/ε^2)\log(L/ε)$. These algorithms run multiple rounds of random initialization followed by arbitrary optimization steps. We further show that if the data is separable by some neural network with constant margin $γ>0$, then there is a polynomial-time algorithm for learning a neural network that separates the training data with margin $Ω(γ)$. As a consequence, the algorithm achieves arbitrary generalization error $ε>0$ with ${ m poly}(d,1/ε)$ sample and time complexity. We establish the same learnability result when the labels are randomly flipped with probability $η<1/2$.

研究动机与目标

• 解决学习半空间和具有非凸、$ L $-Lipschitz 损失函数的神经网络时，非凸经验风险最小化的问题。
• 为采用随机初始化后接局部优化的算法提供理论保证，尽管零一损失的最小化是 NP-难问题。
• 确定在何种条件下可实现多项式时间学习，特别是当数据在常数边界下线性可分时。
• 在标准复杂度理论假设下，分析时间复杂度中对 $ 1/\epsilon $ 的指数依赖的必要性。
• 将框架扩展至具有权重 $ \ell_1 $-范数有界约束的多层神经网络，并在边界条件下证明泛化保证。

提出的方法

• 提出算法 1，通过在单位球面上进行均匀随机初始化，以探索半空间学习的参数空间。
• 引入算法 2，采用基于最小二乘的初始化方式，以提升收敛性与理论保证，优于随机初始化。
• 通过多轮随机初始化后接局部优化（如 SGD）的方法，以逃逸不良局部极小值，实现低过剩风险。
• 将框架扩展至 $ m $-层 Sigmoid 激活神经网络，且输入权重满足 $ \ell_1 $-范数约束，其上界为常数 $ B $。
• 提出 BoostNet（算法 3）作为新型训练方法，逐步构建隐藏层，并使用子程序训练弱分类器。
• 基于 $ \text{RP} \neq \text{NP} $ 的困难性结果，证明对于一般 $ L $-Lipschitz 损失，对 $ L/\epsilon $ 的指数依赖是不可避免的。

实验结果

研究问题

• RQ1 随机初始化结合局部优化能否在半空间学习中实现非凸经验风险最小化的任意小过剩风险？
• RQ2 当数据在常数边界下线性可分时，是否存在学习半空间且具有 $ L $-Lipschitz 损失函数的多项式时间算法？
• RQ3 学习具有 $ L $-Lipschitz 损失的半空间的固有时间复杂度为何？能否避免对 $ 1/\epsilon $ 的指数依赖？
• RQ4 该框架能否扩展至具有有界权重范数的深度神经网络？在边界条件下，其泛化保证如何？
• RQ5 所提出的 BoostNet 算法与标准反向传播相比，在学习具有挑战性的非线性函数（如带噪声的异或函数）时表现如何？

主要发现

• 对于任意 $ \epsilon > 0 $，所提算法在 $ n $ 和 $ d $ 的多项式时间内实现 $ \epsilon $-过剩风险，但时间复杂度在 $ (L/\epsilon^2) \log(L/\epsilon) $ 上呈指数增长，且在 $ \text{RP} \neq \text{NP} $ 假设下该指数项为必要。
• 当数据在常数边界 $ \gamma > 0 $ 下 $ \gamma $-可分时，存在多项式时间算法，其样本与时间复杂度为 $ \text{poly}(d, 1/\epsilon) $，可实现一般化误差 $ \epsilon $。
• 即使标签以概率 $ \eta < 1/2 $ 随机翻转，算法仍保持良好的泛化性能。
• BoostNet 在学习带噪声的异或函数方面优于标准反向传播，尤其在高阶异或函数（如 $ p=5 $）上，反向传播无法实现泛化。
• 理论分析表明，在标准复杂度假设下，对 $ 1/\epsilon $ 的指数依赖是不可避免的，表明所提界是紧致的。
• 随机初始化具有理论合理性：多轮初始化可提高找到良好局部最优解的概率；更优的初始化方式（如最小二乘）可带来更强的理论保证。