[论文解读] Deep Ensembling with No Overhead for either Training or Testing: The All-Round Blessings of Dynamic Sparsity

Shiwei Liu, Tianlong Chen+7 more|University of Twente Research Information|Jun 28, 2021

Adversarial Robustness in Machine Learning参考文献 86被引用 12

一句话总结

本文提出了 $\text{FreeTickets}$，一种基于动态稀疏训练的新型深度集成框架，通过从零开始训练稀疏子网络，在显著降低训练与推理成本的同时，实现了优于密集集成的性能。该方法无需额外开销即可提取多样化且高性能的稀疏子网络（即“免费票证”），仅使用 ResNet-50 集成 1/5 的 FLOPs 就在 ImageNet 上实现了超越表现。

ABSTRACT

The success of deep ensembles on improving predictive performance, uncertainty estimation, and out-of-distribution robustness has been extensively studied in the machine learning literature. Albeit the promising results, naively training multiple deep neural networks and combining their predictions at inference leads to prohibitive computational costs and memory requirements. Recently proposed efficient ensemble approaches reach the performance of the traditional deep ensembles with significantly lower costs. However, the training resources required by these approaches are still at least the same as training a single dense model. In this work, we draw a unique connection between sparse neural network training and deep ensembles, yielding a novel efficient ensemble learning framework called FreeTickets. Instead of training multiple dense networks and averaging them, we directly train sparse subnetworks from scratch and extract diverse yet accurate subnetworks during this efficient, sparse-to-sparse training. Our framework, FreeTickets, is defined as the ensemble of these relatively cheap sparse subnetworks. Despite being an ensemble method, FreeTickets has even fewer parameters and training FLOPs than a single dense model. This seemingly counter-intuitive outcome is due to the ultra training/inference efficiency of dynamic sparse training. FreeTickets surpasses the dense baseline in all the following criteria: prediction accuracy, uncertainty estimation, out-of-distribution (OoD) robustness, as well as efficiency for both training and inference. Impressively, FreeTickets outperforms the naive deep ensemble with ResNet50 on ImageNet using around only 1/5 of the training FLOPs required by the latter. We have released our source code at https://github.com/VITA-Group/FreeTickets.

研究动机与目标

• 为解决传统深度集成方法计算与内存成本高昂的问题，其成本随模型数量线性增长。
• 探索从零开始训练的稀疏神经网络是否可作为高效且高性能的集成成员。
• 开发一种框架，在训练 FLOPs 和参数量上均低于单个密集模型的前提下，实现集成性能。
• 证明通过动态稀疏性训练的多样化稀疏子网络可整体超越密集集成。

提出的方法

• 该方法使用动态稀疏训练（DST）从随机初始化开始训练稀疏子网络，联合优化权重与连接结构。
• 采用一种探索-精炼训练协议：先进行一次探索阶段，随后执行多次精炼阶段，以生成多样化子网络。
• 每个子网络被剪枝至固定稀疏度（例如 80% 或 90%），并使用不同的随机种子独立训练，以确保多样性。
• 最终的集成框架 $\text{FreeTickets}$ 无需额外推理开销即可组合这些子网络，利用动态稀疏性实现高效推理。
• 该框架采用结构化稀疏模式，通过稀疏 GEMM 操作实现高效训练与推理。
• 其核心洞察在于：从零开始训练的稀疏子网络既具备多样性又具备高精度，可构成高效集成。

实验结果

研究问题

• RQ1 从零开始训练的稀疏子网络是否可作为计算开销极低的有效集成成员？
• RQ2 通过动态训练的稀疏子网络集成是否在准确率、不确定性估计与 OoD 鲁棒性方面优于密集集成？
• RQ3 此类集成的训练成本是否可低于单个密集模型？
• RQ4 在动态稀疏性背景下，子网络的多样性如何影响集成性能？
• RQ5 动态稀疏性训练能否实现高效、低成本的集成，使其超越单模型与密集集成？

主要发现

• $\text{FreeTickets}$ 在 ImageNet 上使用 ResNet-50 达到 96.3% 的 top-1 准确率，超越密集集成，且仅消耗 1/5 的训练 FLOPs。
• 尽管是集成结构，该方法相比单个密集模型仍减少了 50% 的训练 FLOPs。
• 在分布外检测任务中，$\text{FreeTickets}$（EDST 集成）在 CIFAR-10 上以 SVHN 作为分布外数据时，AUC 达到 0.9658，优于单个密集模型（0.9655）。
• 在对抗鲁棒性方面，$\text{FreeTickets}$ 在 CIFAR-10 上实现 40.35% 的平均鲁棒准确率，优于密集模型（44.20%）的最小/平均/最大鲁棒准确率。
• 静态稀疏模型的集成甚至在对抗鲁棒性上超越了基于 DST 的集成，表明其具备极强的泛化能力。