[论文解读] Deep Online Convex Optimization by Putting Forecaster to Sleep

David Balduzzi|arXiv (Cornell University)|Sep 6, 2015

Advanced Bandit Algorithms Research参考文献 36被引用 3

一句话总结

该论文通过引入‘昼夜博弈’（circadian games）——一种具有类似收敛特性的凸博弈的推广——建立了卷积神经网络中误差反向传播与在线凸优化之间的严格联系。论文证明，反向传播等价于进行一场昼夜博弈，其中网络单元的‘清醒遗憾’（waking-regret）控制整体收敛性，从而为学习到的表征提供博弈论解释，并支持自适应训练策略。

ABSTRACT

Methods from convex optimization such as accelerated gradient descent are widely used as building blocks for deep learning algorithms. However, the reasons for their empirical success are unclear, since neural networks are not convex and standard guarantees do not apply. This paper develops the first rigorous link between online convex optimization and error backpropagation on convolutional networks. The first step is to introduce circadian games, a mild generalization of convex games with similar convergence properties. The main result is that error backpropagation on a convolutional network is equivalent to playing out a circadian game. It follows immediately that the waking-regret of players in the game (the units in the neural network) controls the overall rate of convergence of the network. Finally, we explore some implications of the results: (i) we describe the representations learned by a neural network game-theoretically, (ii) propose a learning setting at the level of individual units that can be plugged into deep architectures, and (iii) propose a new approach to adaptive model selection by applying bandit algorithms to choose which players to wake on each round.

研究动机与目标

• 建立深度网络中误差反向传播与在线凸优化之间的正式理论联系。
• 解释如加速梯度下降等优化方法在神经网络等非凸设置中经验成功的原因。
• 引入昼夜博弈作为凸博弈的推广，其收敛行为类似。
• 证明卷积网络中的反向传播等价于进行一场昼夜博弈。
• 通过网络单元的博弈论解释与自适应玩家‘清醒’策略，实现新型训练范式。

提出的方法

• 将昼夜博弈作为凸博弈的推广提出，其关键收敛性质得以保留。
• 将卷积网络中的每个神经元或层建模为昼夜博弈中的一个玩家。
• 将反向传播形式化为最小化博弈中的‘清醒遗憾’，其中‘清醒’对应于更新一个单元。
• 利用博弈中的遗憾最小化来控制网络的整体收敛速率。
• 应用多臂赌博机算法（bandit algorithms），在每轮训练中动态选择哪些网络单元（‘玩家’）进行更新（‘清醒’）。
• 推导学习表征与训练动态的博弈论解释。

实验结果

研究问题

• RQ1 如何正式地将卷积网络中的误差反向传播与在线凸优化联系起来？
• RQ2 何种凸博弈的推广形式能在保持收敛性的同时适用于非凸设置？
• RQ3 单个网络单元的‘清醒遗憾’如何与模型的整体收敛性相关联？
• RQ4 能否通过博弈论视角重新解释单元层面的学习动态？
• RQ5 能否通过将网络单元视为多臂赌博机风格博弈中的玩家，实现自适应模型选择？

主要发现

• 卷积网络中的误差反向传播在数学上等价于进行一场昼夜博弈，从而在深度学习与在线优化之间建立了正式桥梁。
• 单个网络单元的‘清醒遗憾’直接控制模型的整体收敛速率，提供了新的可解释性机制。
• 网络中学习到的表征可被解释为昼夜博弈中的均衡，为特征学习提供了博弈论理解。
• 提出了一种新型训练策略：基于多臂赌博机算法选择性地更新单个网络单元，实现自适应模型选择。
• 该框架允许在单元层面实现与全局优化目标一致的即插即用学习规则。