[论文解读] Neural Taylor Approximations: Convergence and Exploration in Rectifier Networks

David Balduzzi, Brian McWilliams+1 more|arXiv (Cornell University)|Nov 7, 2016

Advanced Memory and Neural Computing被引用 8

一句话总结

本文提出了神经泰勒近似——神经网络输出的一阶泰勒展开——以分析整流器网络中的优化问题。该文首次为现代卷积神经网络提供了收敛性保证，证明其以 1/√N 的速率收敛至泰勒最优解，与非光滑凸函数的已知下界一致，并将自适应优化器的成功归因于对激活配置的增强探索。

ABSTRACT

Modern convolutional networks, incorporating rectifiers and max-pooling, are neither smooth nor convex; standard guarantees therefore do not apply. Nevertheless, methods from convex optimization such as gradient descent and Adam are widely used as building blocks for deep learning algorithms. This paper provides the first convergence guarantee applicable to modern convnets, which furthermore matches a lower bound for convex nonsmooth functions. The key technical tool is the neural Taylor approximation -- a straightforward application of Taylor expansions to neural networks -- and the associated Taylor loss. Experiments on a range of optimizers, layers, and tasks provide evidence that the analysis accurately captures the dynamics of neural optimization. The second half of the paper applies the Taylor approximation to isolate the main difficulty in training rectifier nets -- that gradients are shattered -- and investigates the hypothesis that, by exploring the space of activation configurations more thoroughly, adaptive optimizers such as RMSProp and Adam are able to converge to better solutions.

研究动机与目标

• 为解决现代卷积神经网络（convnets）在 ReLU 激活下缺乏收敛性保证的问题，这些网络既非光滑也非凸。
• 分析为何自适应优化器（如 Adam 和 RMSProp）在训练整流器网络时优于标准 SGD，尽管其梯度存在非光滑性。
• 形式化整流器网络中梯度破碎（gradient shattering）的核心作用，将其视为优化的关键挑战。
• 研究在非光滑、非凸的深度学习损失景观中，激活配置的探索如何影响收敛性和泛化性能。

提出的方法

• 将神经泰勒近似定义为在给定输入处对网络输出的一阶泰勒展开，将网络视为分段线性（PL）函数。
• 将泰勒损失定义为在神经泰勒近似上计算的损失，该损失在神经网络输出上是凸的，从而可应用在线凸优化理论。
• 应用在线凸优化框架（Zinkevich, 2003）证明以 1/√N 的速率收敛至泰勒最优解，与非光滑凸函数的已知下界一致（Bubeck, 2015）。
• 通过分析激活配置、汉明距离、激活切换次数以及神经元响应矩阵的奇异值，量化不同优化器的探索行为。
• 将泰勒损失与损失景观中的光滑区域关联，这些区域由固定的激活模式（即哪些神经元处于开启/关闭状态）定义，并将优化视为在这些区域之间的导航过程。
• 提出自适应优化器（如 RMSProp 和 Adam）通过增强对激活配置的探索（尤其是在具有更高拐点密度的浅层）实现更优性能。

实验结果

研究问题

• RQ1 能否为现代基于 ReLU 的卷积神经网络建立收敛性保证，尽管其既非光滑也非凸？
• RQ2 梯度破碎（由 ReLU 非线性引起的梯度不连续性）在多大程度上阻碍了深度网络中的优化？
• RQ3 对不同激活配置（即神经元开启/关闭模式）的探索在多大程度上影响整流器网络的收敛性和泛化性能？
• RQ4 为何自适应优化器（如 RMSProp 和 Adam）在训练 ReLU 网络时优于 SGD，尽管在非光滑设置下存在理论局限？
• RQ5 泰勒近似框架能否用于量化和改进非凸、非光滑深度学习优化中的探索行为？

主要发现

• 本文首次为现代基于 ReLU 的卷积神经网络建立了收敛性保证，证明优化过程以 1/√N 的速率收敛至泰勒最优解，与非光滑凸函数的理论下界一致。
• 实证结果表明，遗憾（以累积损失与最优泰勒损失之差衡量）在实践中也呈现 1/√N 的缩放关系，验证了理论分析。
• 在 MNIST 自编码器上，RMSProp 的测试损失显著优于 SGD，且激活切换频率更高、激活配置间的汉明距离更大，表明其探索范围更广。
• Adam 在自编码器上表现最佳，但在激活切换次数和汉明距离方面均低于 RMSProp，表明动量可能实现有针对性的探索而非广泛探索。
• 对神经元激活模式的奇异值分析表明，最具探索性的神经元（如按幅值排序的前 40 个）与 RMSProp 的行为一致，支持了 RMSProp 在光滑区域中更有效探索的假设。
• 结果表明，自适应优化器在整流器网络中成功的关键并非对曲率的近似，而是对激活配置的增强探索，尤其是在拐点密度较高的浅层。