[论文解读] Distilling Reverse-Mode Automatic Differentiation (DrMAD) for Optimizing Hyperparameters of Deep Neural Networks

Jie Fu, Hongyin Luo+2 more|arXiv (Cornell University)|Jan 5, 2016

Gaussian Processes and Bayesian Inference参考文献 26被引用 8

一句话总结

本文提出 DrMAD，一种利用反向自动微分技术优化深度神经网络超参数的方法，其内存消耗显著降低。通过将前向传播提炼为一条快捷路径以近似反向传播轨迹，DrMAD 实现了对数十万超参数的高效超参数调优，在内存使用量降低数个数量级的同时，性能几乎与精确方法相当。

ABSTRACT

The performance of deep neural networks is sensitive to the setting of their hyperparameters (e.g. L2-norm panelties). Recent advances in reverse-mode automatic differentiation have made it possible to optimize hyperparameters with gradients. The standard way of computing these gradients involves a forward and backward pass, which is similar to its cousin, back-propagation, used for training weights of neural networks. However, the backward pass usually needs to exactly reverse a training procedure, starting from the trained parameters and working back to the initial random ones. This incurs unaffordable memory consumption as it needs to store all the intermediate variables. Here we propose to distill the knowledge of the forward pass into an shortcut path, through which we approximately reverse the training trajectory. Experiments carried out on MNIST dataset show that our approach reduces memory consumption by orders of magnitude without sacrificing its effectiveness. Our method makes it feasible, for the first time, to automatically tune hundreds of thousands of hyperparameters of deep neural networks in practice.

研究动机与目标

• 为解决反向自动微分在超参数优化中因需存储反向传播期间所有中间变量而导致的高内存开销问题。
• 通过降低内存消耗，在不牺牲优化有效性的前提下，实现深度神经网络中实用的大规模超参数调优。
• 开发一种利用提炼的前向传播近似反向传播轨迹的方法，避免存储完整的训练历史。
• 使复杂模型中对数十万超参数的端到端超参数优化成为可能。

提出的方法

• 该方法引入一种提炼的前向传播，学习模仿完整训练过程的行为，为近似反向计算创建一条快捷路径。
• 该提炼路径通过从最终训练权重重建输入参数来训练，从而有效学习前向训练动态的逆过程。
• 随后使用该提炼模型近似反向传播，从而无需存储原始前向传播中的中间激活值。
• 该方法借鉴知识蒸馏原理，使提炼模型从完整前向传播中学习，以实现高效的梯度计算。
• 该方法在保持标准反向自动微分精度的同时，将内存消耗降低数个数量级。

实验结果

研究问题

• RQ1 能否在不存储中间变量的前提下，利用知识蒸馏近似超参数优化中的反向传播？
• RQ2 提炼的前向模型在多大程度上可以替代反向自动微分中精确的反向传播用于超参数调优？
• RQ3 在使用提炼的反向计算时，内存效率与优化精度之间的权衡如何？
• RQ4 该方法能否扩展至对深度神经网络中数十万超参数的调优？

主要发现

• 与标准反向自动微分相比，DrMAD 将内存消耗降低数个数量级，使大规模超参数调优成为可能。
• 该方法在 MNIST 数据集上的优化效果与精确反向自动微分相当，性能无显著损失。
• 提炼模型成功近似了反向传播轨迹，实现了无需存储中间激活值的梯度计算。
• 该方法首次在实践中实现了对数十万超参数的自动调优。