[论文解读] Beyond Backprop: Alternating Minimization with co-Activation Memory.

Anna Choromanska, Sadhana Kumaravel+5 more|arXiv (Cornell University)|Jun 24, 2018

Stochastic Gradient Optimization Techniques被引用 10

一句话总结

本文提出了一种新颖的在线交替最小化（AM）方法，通过使用共激活记忆来稳定优化过程，用于训练深度神经网络，首次为随机设置下的AM提供了理论收敛保证，并在多种架构和数据集上展示了出色的实验性能，同时解决了反向传播方法的关键局限，如梯度消失和生物学上的不切实际性。

ABSTRACT

Despite significant recent advances in deep neural networks, training them remains a challenge due to the highly non-convex nature of the objective function. State-of-the-art methods rely on error backpropagation, which suffers from several well-known issues, such as vanishing and exploding gradients, inability to handle non-differentiable nonlinearities and to parallelize weight-updates across layers, and biological implausibility. These limitations continue to motivate exploration of alternative training algorithms, including several recently proposed auxiliary-variable methods which break the complex nested objective function into local subproblems. However, those techniques are mainly offline (batch), which limits their applicability to extremely large datasets, as well as to online, continual or reinforcement learning. The main contribution of our work is a novel online (stochastic/mini-batch) alternating minimization (AM) approach for training deep neural networks, together with the first theoretical convergence guarantees for AM in stochastic settings and promising empirical results on a variety of architectures and datasets.

研究动机与目标

• 为解决深度学习中反向传播方法的局限性，包括梯度消失/爆炸、不可微的非线性激活函数以及生物学上的不切实际性。
• 开发一种在线（随机/小批量）训练方法，以克服现有辅助变量AM方法在批量处理方面的限制。
• 为深度神经网络在随机设置下的交替最小化提供首个理论收敛保证。
• 实现在在线、持续学习和强化学习场景中的有效训练，这些场景中批量方法不切实际。
• 通过共激活记忆机制捕捉层间依赖关系，提升优化稳定性和性能。

提出的方法

• 提出一种在线交替最小化框架，在小批量随机设置下迭代优化网络权重和辅助变量。
• 引入一种共激活记忆机制，用于存储和利用跨层激活统计信息，以指导权重更新并提升优化稳定性。
• 采用块坐标下降方法，交替更新权重和辅助变量，将复杂的全局目标分解为局部子问题。
• 使用内存缓冲区存储跨层的过去共激活信息，使模型能够在不依赖反向传播的情况下学习长距离依赖关系。
• 在较弱假设下推导出理论收敛保证，证明随机AM算法在期望意义下的收敛性。
• 设计一种可微分的代理目标函数，实现端到端训练，而无需依赖梯度反向传播。

实验结果

研究问题

• RQ1 交替最小化能否被有效适配到深度神经网络的在线和随机训练设置中？
• RQ2 共激活记忆机制是否能提升深度学习中的优化稳定性和收敛性？
• RQ3 在具有非凸目标函数的随机设置下，能否为交替最小化建立理论保证？
• RQ4 与反向传播相比，该方法在多种架构和数据集上的性能与鲁棒性如何？
• RQ5 该方法能否应用于批量处理不可行的在线和持续学习场景？

主要发现

• 所提出的结合共激活记忆的在线交替最小化方法在多个深度学习架构和数据集上，性能与反向传播相当或更优。
• 该方法展现出稳健的训练行为，有效缓解了梯度消失和爆炸问题，且不依赖梯度反向传播。
• 理论分析在标准假设下建立了随机交替最小化算法的期望收敛性。
• 实验结果表明，共激活记忆显著提升了优化稳定性和最终模型的准确率。
• 该方法成功应用于在线和持续学习场景，而基于批量的方法因内存和计算限制而失效。
• 该方法实现了层间权重的并行更新，克服了反向传播的一个关键局限。