[论文解读] Introspection: Accelerating Neural Network Training By Learning Weight Evolution

Abhishek Sinha, Mausoom Sarkar+2 more|arXiv (Cornell University)|Apr 17, 2017

Neural Networks and Applications被引用 3

一句话总结

本文提出Introspection方法，通过使用预训练神经网络基于简单网络（如MNIST）学习到的权重演化模式，预测未来权重值，从而加速深度神经网络训练。通过在间隔点注入这些预测值，该方法在多种架构和数据集（CIFAR-10、ImageNet）上实现更快收敛，且内存与计算开销极低，优于标准优化器及基线方法（如二次拟合与线性插值）。

ABSTRACT

Neural Networks are function approximators that have achieved state-of-the-art accuracy in numerous machine learning tasks. In spite of their great success in terms of accuracy, their large training time makes it difficult to use them for various tasks. In this paper, we explore the idea of learning weight evolution pattern from a simple network for accelerating training of novel neural networks. We use a neural network to learn the training pattern from MNIST classification and utilize it to accelerate training of neural networks used for CIFAR-10 and ImageNet classification. Our method has a low memory footprint and is computationally efficient. This method can also be used with other optimizers to give faster convergence. The results indicate a general trend in the weight evolution during training of neural networks.

研究动机与目标

• 解决深度神经网络在大规模应用中计算成本高、训练时间长的问题。
• 克服现有优化器（如Adam、RMSProp）依赖自适应学习率但仍需大量训练步数的局限性。
• 探究不同网络与任务之间权重演化是否存在可泛化的模式。
• 开发一种方法，将已训练网络的知识迁移至新型未见网络，以加速其训练，而无需重新训练。
• 设计一种轻量化、高效的机制，实现在训练过程中所有层的异步、并行权重更新。

提出的方法

• 在简单网络（如MNIST上的CNN）的权重演化数据上训练一个小型神经网络（即introspection网络），以学习权重随时间变化的轨迹。
• 利用introspection网络基于当前及历史权重信息，预测未来时间步（如2t）的权重值，且不依赖梯度信息。
• 在预设的间隔点（jump points）将这些预测的权重值注入主网络，从而有效加速收敛。
• introspection网络通过回归目标进行训练，以最小化预测值与实际未来权重值之间的差异。
• 该方法兼容任意优化器（SGD、Adam等），可异步应用，显著降低计算开销。
• 该方法在架构、激活函数、归一化技术（批归一化、LRN）及数据集（MNIST、CIFAR-10、ImageNet）之间均具有良好的泛化能力。

实验结果

研究问题

• RQ1 能否从一个神经网络中学习到通用的权重演化模式，并将其迁移至加速其他未见网络的训练？
• RQ2 基于历史权重轨迹预测未来权重值，是否能比标准优化方法实现更快收敛？
• RQ3 在收敛速度与准确率方面，introspection方法与基线方法（如二次拟合或线性插值）相比表现如何？
• RQ4 在不同间隔（jump ratios）下引入权重更新，对训练稳定性和性能有何影响？
• RQ5 introspection网络是否能在不重新训练的情况下，泛化至不同网络架构、损失函数及数据集？

主要发现

• 在CIFAR-10上，introspection网络在21,200个训练步后达到85.6%的测试准确率，优于普通SGD（26,500步时为85.29%）和二次拟合基线（27,200步时为85.45%）。
• 在MNIST1上，introspection方法在12,000步内达到98.5%的测试准确率，显著快于标准SGD和线性拟合基线。
• 二次拟合基线导致准确率下降9.8%，且在多数情况下无法恢复，表明其不稳定且泛化能力差。
• 线性插值与噪声注入未能显著优于标准SGD，表明简单的曲线拟合或随机扰动无效。
• 线性introspection网络（无ReLU）相比SGD仅有微弱改进，但被非线性introspection网络所超越。
• 该方法在架构与数据集之间具有泛化能力，包括ImageNet，实现了稳定的收敛加速且内存开销极低。