[论文解读] Generalized Bayesian Posterior Expectation Distillation for Deep Neural Networks

Meet P. Vadera, Brian Jalaian+1 more|arXiv (Cornell University)|May 16, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用 4

一句话总结

本文提出了一种广义贝叶斯后验期望蒸馏框架，通过在线蒙特卡洛采样，将任意后验期望（如预测分布和期望熵）蒸馏到紧凑的学生模型中，从而扩展了贝叶斯暗知识方法。该方法在多样化架构和数据集上，提升了下游不确定性任务（如分布外检测和不确定性排序）的性能，在蒸馏保真度和实际应用价值方面均优于先前方法。

ABSTRACT

In this paper, we present a general framework for distilling expectations with respect to the Bayesian posterior distribution of a deep neural network classifier, extending prior work on the Bayesian Dark Knowledge framework. The proposed framework takes as input "teacher" and student model architectures and a general posterior expectation of interest. The distillation method performs an online compression of the selected posterior expectation using iteratively generated Monte Carlo samples. We focus on the posterior predictive distribution and expected entropy as distillation targets. We investigate several aspects of this framework including the impact of uncertainty and the choice of student model architecture. We study methods for student model architecture search from a speed-storage-accuracy perspective and evaluate down-stream tasks leveraging entropy distillation including uncertainty ranking and out-of-distribution detection.

研究动机与目标

• 解决基于点估计的深度学习模型在不确定性校准方面表现不佳、预测过于自信的问题。
• 将贝叶斯暗知识方法从仅蒸馏预测分布扩展到包含期望熵等一般后验期望的通用后验期望。
• 通过系统性的架构搜索，实现对学生模型在速度-存储-精度权衡上的细粒度控制。
• 评估广义后验蒸馏在下游任务（如分布外检测和不确定性排序）中对不确定性量化需求的实用性。
• 证明蒸馏性能对模型容量高度敏感，且架构搜索可有效识别最优权衡。

提出的方法

• 该框架以教师模型（表示为后验权重的蒙特卡洛样本）和学生模型架构作为输入。
• 通过从教师后验中迭代生成蒙特卡洛样本，实现对一般后验期望（如后验预测分布或期望熵）的在线蒸馏。
• 使用知识蒸馏方法，通过最小化教师与学生期望之间差异的损失函数，训练学生模型以模仿教师后验在选定统计量上的期望输出。
• 采用宽度乘数策略进行架构搜索，以探索学生模型容量的范围，平衡模型大小、推理速度与精度。
• 该方法支持多种不确定性统计量的蒸馏，包括总不确定性和知识不确定性，从而支持下游的不确定性感知任务。
• 框架通过标准蒸馏指标以及下游任务（如分布外检测和基于nDCG的不确定性排序）进行评估。

实验结果

研究问题

• RQ1 在预测和熵期望的蒸馏性能方面，广义后验期望蒸馏与贝叶斯暗知识相比如何？
• RQ2 蒸馏性能对学生模型架构的选择有多敏感？架构搜索是否能有效识别最优的速度-存储-精度权衡？
• RQ3 基于熵的蒸馏是否能提升下游不确定性感知任务（如分布外检测和不确定性排序）的性能？
• RQ4 与Malinin等人（2020）提出的EnD 2方法相比，所提框架在蒸馏保真度和下游任务性能方面表现如何？
• RQ5 不确定性分解（如总不确定性与知识不确定性）对基于不确定性的应用中蒸馏效果有何影响？

主要发现

• 在75%的分布外检测设置中，所提出的GPED框架优于EnD 2方法的适配版本，且在所有测试数据集和模型组合中均取得更高的AUROC分数。
• 在不确定性排序任务中，GPED在91%的评估设置中取得高于EnD 2的nDCG@20分数，表明其更有效地保留了相对不确定性排序。
• 蒸馏性能对学生模型容量高度敏感，当学生模型过窄或过深时，性能显著下降。
• 采用宽度乘数的架构搜索成功揭示了速度-存储-精度权衡空间，识别出在性能与计算效率之间取得更好平衡的学生模型。
• 该框架展现出强大的泛化能力，在使用蒸馏熵统计量时，于分布外检测和不确定性排序任务中达到最先进性能。
• 将期望熵作为蒸馏目标，可实现有效的不确定性分解，从而增强蒸馏模型在主动学习和异常检测中的实用性。