[论文解读] Make (Nearly) Every Neural Network Better: Generating Neural Network Ensembles by Weight Parameter Resampling

Jiayi Liu, Samarth Tripathi+2 more|arXiv (Cornell University)|Jul 2, 2018

Advanced Neural Network Applications参考文献 11被引用 3

一句话总结

本文提出了一种通用且高效的方法，通过基于其不确定性分布对预训练深度神经网络的权重参数进行重采样，从而改进几乎所有预训练的深度神经网络。该方法在短短一个训练周期内完成简短微调阶段对权重不确定性的估计，通过平均或重采样最终训练阶段的权重，在计算开销极低且无需从头开始训练的情况下，实现了在多种模型（如Inception-V3和MobileNet）上的稳定性能提升。

ABSTRACT

Deep Neural Networks (DNNs) have become increasingly popular in computer vision, natural language processing, and other areas. However, training and fine-tuning a deep learning model is computationally intensive and time-consuming. We propose a new method to improve the performance of nearly every model including pre-trained models. The proposed method uses an ensemble approach where the networks in the ensemble are constructed by reassigning model parameter values based on the probabilistic distribution of these parameters, calculated towards the end of the training process. For pre-trained models, this approach results in an additional training step (usually less than one epoch). We perform a variety of analysis using the MNIST dataset and validate the approach with a number of DNN models using pre-trained models on the ImageNet dataset.

研究动机与目标

• 开发一种快速、通用的方法，以在不从头开始训练的情况下提升预训练深度神经网络的性能。
• 探究如何利用随机梯度下降（SGD）更新中的不确定性来改善模型泛化能力。
• 评估该方法在不同架构和优化策略下的鲁棒性，特别是在低数据量或高计算成本场景下的表现。
• 在保持或提升预测性能的同时，降低集成方法的计算负担。
• 提供一种实用、即插即用的技术，适用于任何DNN模型，包括已在ImageNet等大规模数据集上训练过的模型。

提出的方法

• 在初始训练后的简短微调阶段，使用在线Welford算法估计模型参数的均值和方差。
• 从以估计均值为中心、标准差为估计值的高斯分布中重采样模型权重。
• 通过重采样构建多个模型，并对它们的预测结果进行平均，形成集成模型，从而提升鲁棒性和准确性。
• 或者，将所有权重替换为估计的均值，从而创建一个单一的、性能更优的模型，且推理成本不增加。
• 仅使用极短的微调阶段（通常少于一个训练周期）来捕捉参数不确定性，使方法计算效率极高。
• 将该方法应用于预训练模型以及从零开始训练的模型，验证其在不同训练范式和优化器下的通用性。

实验结果

研究问题

• RQ1 能否在简短微调阶段捕获的参数不确定性，用于生成性能更优的神经网络集成？
• RQ2 与标准微调和现有集成技术（如随机权重平均SWA）相比，所提出的重采样方法在准确率和效率方面表现如何？
• RQ3 该方法在学习率、优化器选择（如SGD与Adam）以及模型架构变化下，其鲁棒性如何？
• RQ4 当应用于ImageNet等大规模数据集时，该方法是否能同时提升标准模型和轻量级模型（如MobileNet）的性能？
• RQ5 为可靠估计参数不确定性并实现一致的性能提升，所需的最小微调时长是多少？

主要发现

• 在MNIST数据集上，该方法在多种配置下均一致提升了准确率，其中均值重采样模型的性能优于基线模型和微调后的模型。
• 在ImageNet上，该方法显著提升了Inception-V3和MobileNet的Top-1准确率，即使在使用Adam优化器进行微调时也观察到了性能增益。
• 重采样集成模型在广泛的学习率范围内表现稳健，表明其对超参数选择不敏感。
• 仅使用均值重采样的模型性能已与三模型集成相当，表明均值是参数分布的强有力代表。
• 即使仅进行10,000次更新（相当于ImageNet的25%），该方法也能可靠估计参数不确定性并实现一致的性能提升。
• 该方法仅需不到一个训练周期的微调即可实现性能增益，因此在实际部署中具有高度的高效性和实用性。