[论文解读] Calibrate and Prune: Improving Reliability of Lottery Tickets Through Prediction Calibration

Bindya Venkatesh, Jayaraman J. Thiagarajan+2 more|arXiv (Cornell University)|Feb 10, 2020

Gambling Behavior and Treatments参考文献 32被引用 7

一句话总结

本文提出在过参数化神经网络的训练过程中校准预测置信度，以提升彩票票券的可靠性与泛化能力。通过在剪枝前整合校准策略——如混合样本（mixup）、方差加权置信度校准（variance-weighted confidence calibration）、基于似然的校准（likelihood-based calibration）以及归一化分箱分配（normalized bin assignment）——作者表明，由此产生的子网络在分布偏移下表现出更优的准确率与校准性能，尤其在损坏的CIFAR-10C基准测试中，相比标准彩票票券方法最高提升达12%。

ABSTRACT

The hypothesis that sub-network initializations (lottery) exist within the initializations of over-parameterized networks, which when trained in isolation produce highly generalizable models, has led to crucial insights into network initialization and has enabled efficient inferencing. Supervised models with uncalibrated confidences tend to be overconfident even when making wrong prediction. In this paper, for the first time, we study how explicit confidence calibration in the over-parameterized network impacts the quality of the resulting lottery tickets. More specifically, we incorporate a suite of calibration strategies, ranging from mixup regularization, variance-weighted confidence calibration to the newly proposed likelihood-based calibration and normalized bin assignment strategies. Furthermore, we explore different combinations of architectures and datasets, and make a number of key findings about the role of confidence calibration. Our empirical studies reveal that including calibration mechanisms consistently lead to more effective lottery tickets, in terms of accuracy as well as empirical calibration metrics, even when retrained using data with challenging distribution shifts with respect to the source dataset.

研究动机与目标

• 探究在过参数化网络中进行置信度校准如何影响彩票票券的质量。
• 评估校准模型是否能产生在分布偏移下泛化能力更强的子网络。
• 探究不同校准技术对彩票票券性能与可靠性的影响。
• 确定在预训练阶段显式校准是否能产生比标准LTH方法更鲁棒、更准确的彩票票券。

提出的方法

• 在过参数化模型的训练过程中应用一系列校准策略，包括混合样本正则化（mixup regularization）、方差加权置信度校准（VWCC）、基于似然的置信度校准与随机推理（LWCC-SI），以及归一化分箱分配（normalized bin assignment）。
• 在应用基于权重大小的剪枝前，使用显式校准目标训练过参数化网络。
• 通过基于权重大小的标准剪枝方法识别彩票票券，并将非零权重重新初始化为其原始值。
• 在标准测试集和损坏测试集（如CIFAR-10-C）上微调所得稀疏子网络，以评估其泛化能力与校准性能。
• 使用标准指标（如准确率与期望校准误差ECE）评估性能与可靠性。
• 在不同架构与数据集上比较结果，以评估校准优势的一致性。

实验结果

研究问题

• RQ1 在预训练阶段引入置信度校准是否能提升彩票票券在分布偏移下的泛化性能？
• RQ2 不同校准策略如何影响彩票票券的准确率与可靠性？
• RQ3 在训练过程中进行校准是否能产生即使使用标准彩票票券初始化策略也表现更优的子网络？
• RQ4 校准的优势在复杂、具有挑战性的数据集（如CIFAR-10）中是否比在简单数据集（如MNIST或Fashion-MNIST）中更为显著？

主要发现

• 在预训练阶段进行校准可一致提升彩票票券性能，在CIFAR-10-C中最严重的损坏类型（如雾霾、霜冻、降雪）中准确率最高提升达12%。
• 源自校准模型的获胜票券在分布偏移下表现出显著更好的泛化能力，即使在高剪枝率下也优于标准LTH票券。
• 性能提升伴随着显著改善的校准得分，以期望校准误差（ECE）衡量，涵盖所有测试数据集与模型。
• 在简单数据集（如MNIST与Fashion-MNIST）上，置信度校准仅带来微小改进，表明校准优势在复杂、高变异性任务中更为显著。
• 过度正则化（如在VWCC中增加Dropout）可能在已良好校准的模型上降低性能，表明校准强度存在权衡。
• 结果表明，在预训练阶段进行校准是一种强大且有效的方法，可在不修改剪枝或初始化策略的前提下，同时提升彩票票券的准确率与可靠性。