[论文解读] GradNets: Dynamic Interpolation Between Neural Architectures

Diogo Almeida, Nate Sauder|arXiv (Cornell University)|Nov 21, 2015

Neural Networks and Applications参考文献 16被引用 3

一句话总结

GradNets 引入了一种动态架构插值框架，通过可学习的退火调度，在训练过程中逐步过渡神经网络组件（例如，线性层到 ReLU，恒等连接到 Dropout）。该方法提升了优化稳定性，实现了极深网络（最高达 200 层）的训练，并在 CIFAR-10 和 MNIST 上提升了准确率，同时计算开销几乎不变。

ABSTRACT

In machine learning, there is a fundamental trade-off between ease of optimization and expressive power. Neural Networks, in particular, have enormous expressive power and yet are notoriously challenging to train. The nature of that optimization challenge changes over the course of learning. Traditionally in deep learning, one makes a static trade-off between the needs of early and late optimization. In this paper, we investigate a novel framework, GradNets, for dynamically adapting architectures during training to get the benefits of both. For example, we can gradually transition from linear to non-linear networks, deterministic to stochastic computation, shallow to deep architectures, or even simple downsampling to fully differentiable attention mechanisms. Benefits include increased accuracy, easier convergence with more complex architectures, solutions to test-time execution of batch normalization, and the ability to train networks of up to 200 layers.

研究动机与目标

• 解决深度学习中优化简易性与模型表达能力之间的根本权衡。
• 克服静态架构的局限性，后者为后期的表达能力而牺牲了早期训练的稳定性。
• 实现极深网络（例如，200 层的 MLP）的训练，而这些网络在标准静态架构下会失败。
• 通过在训练过程中动态调整架构组件，改善泛化能力和收敛性。
• 促进复杂组件（如空间变换网络和批量归一化）的稳定使用。

提出的方法

• 使用两个架构组件的加权平均，其中插值权重 $g = \min(t/\tau, 1)$ 在训练周期内线性地从 0 退火到 1。
• 将 GradNet 框架应用于多种组件对，例如：恒等连接到 ReLU（GReLU）、恒等连接到 Dropout、平均池化到最大池化等。
• 保持组件间张量形状一致，以支持反向传播过程中的可微插值。
• 使用单一超参数 $\tau$ 控制退火调度，其中 CIFAR-10 的 $\tau = 100$，MNIST 的 $\tau = 5$。
• 利用正交权重初始化和 Adam 优化配合早停策略，以确保训练稳定。
• 将框架应用于复杂组件，如空间变换网络和批量归一化，从而实现对原本不稳定的模块的稳定训练。

实验结果

研究问题

• RQ1 在深度网络中，架构组件之间的动态插值是否能提升训练稳定性和最终性能？
• RQ2 GradNets 是否能使在标准静态架构下发散的网络实现收敛，特别是在高 Dropout 率下？
• RQ3 GradNets 是否能支持在 MNIST 上训练极深的前馈网络（例如，200 层 MLP）？
• RQ4 GradNets 是否能稳定训练复杂组件（如空间变换网络和批量归一化）？
• RQ5 动态架构自适应是否能在多个基准测试（CIFAR-10、MNIST、杂乱 MNIST）上实现一致的性能提升，且计算开销几乎不变？

主要发现

• GradNets 成功实现了在 MNIST 上对 200 层多层感知机的训练，而标准静态架构则无法完成该任务。
• 在 CIFAR-10 上，采用渐进式 ReLU 和渐进式 Dropout 的 GradNets 比其静态对应模型取得了更高的测试准确率。
• 渐进式 Dropout 允许在静态网络会发散的高 Dropout 率下实现收敛，证明了其优化稳定性的提升。
• 渐进式批量归一化使原本因推理阶段批量归一化问题而失败的模型实现了稳定训练。
• 采用 GradNet 插值的空间变换网络在 10 次运行中平均准确率达到 98.2%，且无发散现象，优于静态版本。
• 该框架几乎未引入计算开销，因为插值仅为简单的加权平均，不增加额外参数或操作。