[论文解读] Deep Online Convex Optimization with Gated Games

David Balduzzi|arXiv (Cornell University)|Apr 7, 2016

Stochastic Gradient Optimization Techniques参考文献 90被引用 7

一句话总结

本文提出了门控博弈（gated games）这一博弈论框架，将凸优化推广至非光滑、非凸的深度学习架构（如整流卷积神经网络）。通过将整流单元和最大池化操作建模为二元门控机制，该工作首次建立了此类网络中梯度下降的收敛速率，表明收敛至临界点的过程受网络单元门控遗憾（gated-regret）的控制。

ABSTRACT

Methods from convex optimization are widely used as building blocks for deep learning algorithms. However, the reasons for their empirical success are unclear, since modern convolutional networks (convnets), incorporating rectifier units and max-pooling, are neither smooth nor convex. Standard guarantees therefore do not apply. This paper provides the first convergence rates for gradient descent on rectifier convnets. The proof utilizes the particular structure of rectifier networks which consists in binary active/inactive gates applied on top of an underlying linear network. The approach generalizes to max-pooling, dropout and maxout. In other words, to precisely the neural networks that perform best empirically. The key step is to introduce gated games, an extension of convex games with similar convergence properties that capture the gating function of rectifiers. The main result is that rectifier convnets converge to a critical point at a rate controlled by the gated-regret of the units in the network. Corollaries of the main result include: (i) a game-theoretic description of the representations learned by a neural network; (ii) a logarithmic-regret algorithm for training neural nets; and (iii) a formal setting for analyzing conditional computation in neural nets that can be applied to recently developed models of attention.

研究动机与目标

• 解决现代深度学习模型中因使用非光滑、非凸组件（如整流单元和最大池化）而缺乏理论收敛保证的问题。
• 形式化门控函数（如 ReLU、最大池化）在深度网络中作为博弈论框架下决策机制的作用。
• 通过将凸博弈推广至门控博弈，建立整流卷积神经网络中梯度下降的收敛速率。
• 为分析神经网络中的条件计算（如注意力机制和 Dropout）提供理论基础。
• 在统一的博弈论结构下分析各种非光滑操作（如 Maxout、Dropout）

提出的方法

• 提出门控博弈作为凸博弈的扩展，其中玩家根据上下文依赖的门控机制被激活或去激活。
• 将深度卷积网络建模为路径和博弈，其中每条路径对应一系列具有门控决策的活跃单元。
• 将误差反向传播重新表述为路径上的博弈论过程，从而可应用在线凸优化工具。
• 将单元的门控遗憾定义为实际损失与若其被最优门控时本应承担的损失之间的差值。
• 对门控机制应用遗憾最小化技术，即使在非光滑设置下也能提供收敛保证。
• 通过将最大池化、Dropout 和 Maxout 建模为条件激活机制，将该框架推广至包含这些组件的情形。

实验结果

研究问题

• RQ1 能否为使用 ReLU 单元的深度网络（其本身非光滑且非凸）中的梯度下降建立收敛保证？
• RQ2 如何使用博弈论概念正式刻画现代卷积神经网络的非光滑、非凸特性？
• RQ3 门控机制（如 ReLU、最大池化）在塑造深度网络优化动力学方面起什么作用？
• RQ4 能否使用基于遗憾的框架对神经网络中的条件计算进行形式化分析与优化？
• RQ5 神经网络所学习的表征在所提出的门控博弈框架中如何对应于相关均衡？

主要发现

• 本文首次建立了整流卷积神经网络中梯度下降的收敛速率，表明收敛至临界点的过程受网络单元门控遗憾的控制。
• 该框架可推广至最大池化、Dropout 和 Maxout，证明这些广泛使用的组件可在同一博弈论结构下进行分析。
• 推导出对所学表征的博弈论描述，将网络内部动力学与门控博弈中的相关均衡联系起来。
• 作为推论，导出了用于训练神经网络的对数遗憾算法，实现高效优化并具备理论性能边界。
• 该框架为分析条件计算（如注意力机制）提供了正式设置，通过将门控策略建模为带遗憾最小化的上下文Bandit问题。
• 分析表明，整流网络的表征能力源于其不可微结构，该结构在参数空间中创造了指数级数量的分段线性区域。