[论文解读] Anti-Distillation: Improving reproducibility of deep networks

Gil I. Shamir, Lorenzo Coviello|arXiv (Cornell University)|Oct 19, 2020

Machine Learning and Data Classification参考文献 31被引用 6

一句话总结

本文提出对抗蒸馏（Anti-Distillation, AD），通过在训练过程中对logits进行去相关性处理，促使集成组件之间产生差异，从而提升深度神经网络的可复现性。通过在训练中施加logits的相关性损失，AD在不损失准确率的前提下，显著降低了相同模型之间的预测差异，在基准数据集和真实世界数据集上，预测差异最高减少了75%。

ABSTRACT

Deep networks have been revolutionary in improving performance of machine learning and artificial intelligence systems. Their high prediction accuracy, however, comes at a price of \emph{model irreproducibility\/} in very high levels that do not occur with classical linear models. Two models, even if they are supposedly identical, with identical architecture and identical trained parameter sets, and that are trained on the same set of training examples, while possibly providing identical average prediction accuracies, may predict very differently on individual, previously unseen, examples. \emph{Prediction differences\/} may be as large as the order of magnitude of the predictions themselves. Ensembles have been shown to somewhat mitigate this behavior, but without an extra push, may not be utilizing their full potential. In this work, a novel approach, \emph{Anti-Distillation\/}, is proposed to address irreproducibility in deep networks, where ensemble models are used to generate predictions. Anti-Distillation forces ensemble components away from one another by techniques like de-correlating their outputs over mini-batches of examples, forcing them to become even more different and more diverse. Doing so enhances the benefit of ensembles, making the final predictions more reproducible. Empirical results demonstrate substantial prediction difference reductions achieved by Anti-Distillation on benchmark and real datasets.

研究动机与目标

• 为解决深度网络中高不可复现性问题，即在相同数据上训练的相同模型在单个样本上的预测结果存在显著差异。
• 提升深度学习模型的可靠性，特别是在医疗等安全关键应用中，不一致的预测可能造成不可逆后果。
• 通过主动增加集成组件间的多样性，超越标准平均方法提升集成性能。
• 开发一种训练技术，在保持深度网络高准确率的同时提升可复现性。
• 通过实证验证，利用对抗蒸馏对集成输出去相关可降低预测差异，且不损害模型准确率。

提出的方法

• 对抗蒸馏引入一种正则化损失，通过在小批量上对集成组件的logits进行去相关，促进其预测的多样性。
• 该方法在集成成员的logits上施加相关性损失，超参数λ控制去相关的强度。
• 评估了AD损失的三种变体：logits上的相关性损失（L_AD(C_z)）、协方差损失（L_AD(Σ_z)）以及基于差异的损失（L′_AD）。
• 该技术在训练过程中使用标准优化方法（如AdaGrad）应用，无需修改模型架构或推理过程。
• 通过使用伪随机种子保持训练运行间的一致性初始化，并在MNIST和大规模真实世界CTR预测数据上进行测试。
• 通过预测差异（PD）、相对PD（Δ̃₁^r）、对数损失和排序损失等指标评估方法，量化可复现性与性能。

实验结果

研究问题

• RQ1 对集成组件的输出进行去相关，能否降低相同深度网络之间的预测差异？
• RQ2 对抗蒸馏是否能在不降低模型准确率或增加训练损失的前提下提升可复现性？
• RQ3 AD正则化强度（λ）对预测差异和模型性能有何影响？
• RQ4 在logits上应用AD而非概率，是否能带来更好的可复现性提升？
• RQ5 在大规模真实世界深度学习系统（如在线CTR预测）中，AD能否实现显著的PD降低？

主要发现

• 在MNIST上，对抗蒸馏在中等λ值下将预测差异（PD）最高降低了75%，且准确率未下降。
• 当仅有2个集成组件时，AD的PD性能优于未使用AD的8个组件，表明AD带来的多样性优于单纯增加集成规模。
• 在真实世界CTR预测数据上，PD从单模型的11.25%降低至3组件集成的6.5%，进一步在AD与λ=5下降至2.88%。
• 在logits上应用AD显著降低了PD，而在概率上应用则无改善，表明输出层选择的重要性。
• 增大输入初始化方差（s）可改善PD，但收益递减；更高的λ值可降低PD，但会损害准确率。
• 协方差损失和基于差异的AD损失在降低PD方面效果弱于相关性损失，且后者在保持排序损失性能方面表现更优。