[论文解读] AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification

Romain Égelé, Romit Maulik+4 more|arXiv (Cornell University)|Oct 26, 2021

Adversarial Robustness in Machine Learning参考文献 28被引用 4

一句话总结

AutoDEUQ 提出了一种自动化方法，通过联合神经架构与超参数搜索，生成多样化且高性能的深度神经网络集成模型，利用全方差定律将预测不确定性分解为认知不确定性（aleatoric）与认知不确定性（epistemic）两部分。在多个回归基准测试中，其在不确定性量化与预测准确性方面均优于概率反向传播、蒙特卡洛 dropout 及其他集成方法。

ABSTRACT

Deep neural networks are powerful predictors for a variety of tasks. However, they do not capture uncertainty directly. Using neural network ensembles to quantify uncertainty is competitive with approaches based on Bayesian neural networks while benefiting from better computational scalability. However, building ensembles of neural networks is a challenging task because, in addition to choosing the right neural architecture or hyperparameters for each member of the ensemble, there is an added cost of training each model. We propose AutoDEUQ, an automated approach for generating an ensemble of deep neural networks. Our approach leverages joint neural architecture and hyperparameter search to generate ensembles. We use the law of total variance to decompose the predictive variance of deep ensembles into aleatoric (data) and epistemic (model) uncertainties. We show that AutoDEUQ outperforms probabilistic backpropagation, Monte Carlo dropout, deep ensemble, distribution-free ensembles, and hyper ensemble methods on a number of regression benchmarks.

研究动机与目标

• 为解决深度神经网络中不确定性量化的问题，特别是由模型参数估计和分布外预测引起的认知不确定性。
• 通过自动化联合搜索神经架构与超参数，克服固定架构集成的局限性，实现模型多样性。
• 通过全方差定律将预测方差分解为数据相关的认知不确定性（aleatoric）与模型相关的认知不确定性（epistemic），以改进不确定性估计。
• 开发一种可扩展的自动化框架，无需人工调优即可生成高性能集成模型，从而提升深度学习预测的鲁棒性与可靠性。
• 在多样化的回归基准上评估该方法，并与现有的不确定性量化技术进行性能比较。

提出的方法

• AutoDEUQ 使用自适应进化贝叶斯优化（AgEBO）框架，对神经架构与超参数进行联合搜索，以生成多样化的集成成员。
• 应用全方差定律，将集成模型的预测方差分解为认知不确定性（aleatoric）与认知不确定性（epistemic）两部分。
• 采用贪心模型选择策略，从已训练模型的目录中构建最终集成，选择验证损失最小且保持多样性的模型。
• 在多个 GPU 上并行训练，每个模型配置（架构与超参数）独立评估。
• 框架集成贝叶斯优化，以高效探索搜索空间，并优先选择预测性能高且不确定性校准良好的配置。
• 集成预测通过平均计算，不确定性估计则基于集成成员间预测结果的方差得出。

实验结果

研究问题

• RQ1 能否通过自动化框架联合优化神经架构与超参数，以生成多样化且高性能的深度神经网络集成？
• RQ2 将预测方差分解为认知不确定性（aleatoric）与认知不确定性（epistemic）是否能提升深度学习模型的不确定性量化能力？
• RQ3 AutoDEUQ 是否在回归基准上优于现有的不确定性量化方法，如蒙特卡洛 dropout、概率反向传播与固定架构集成？
• RQ4 通过联合架构与超参数搜索所诱导的模型多样性，在多大程度上提升了认知不确定性估计？
• RQ5 AutoDEUQ 在不同规模与复杂度的数据集上具有怎样的可扩展性？

主要发现

• 在多个回归基准上，AutoDEUQ 在预测准确性和不确定性校准方面优于概率反向传播、蒙特卡洛 dropout、标准深度集成、无分布假设集成与超集成。
• 通过联合架构与超参数搜索实现的模型多样性，使 AutoDEUQ 实现了更优的认知不确定性估计，降低了收敛至单一假设的风险。
• 利用全方差定律对预测方差进行分解，能够清晰分离并量化认知不确定性（aleatoric）与认知不确定性（epistemic）两部分。
• AutoDEUQ 在大规模数据集（如 YearPrediction）上表现出色，实现了低预测损失与良好校准的不确定性估计。
• 通过并行训练与高效的贝叶斯优化，即使在大规模搜索空间下，该框架仍保持计算可行性。
• 通过贪心选择构建的最终集成，其验证损失低于单个模型与基线集成方法，证实了该选择策略的有效性。