[论文解读] Evaluating Scalable Uncertainty Estimation Methods for DNN-Based Molecular Property Prediction

Gabriele Scalia, Colin A. Grambow+3 more|arXiv (Cornell University)|Oct 7, 2019

Machine Learning in Materials Science参考文献 51被引用 6

一句话总结

本文在QM9数据集上评估了图卷积神经网络（GCNNs）中可扩展的不确定性估计方法——MC-Dropout、深度集成和自助采样法，用于分子性质预测。该研究提出了一种统一框架，以区分偶然性不确定性（aleatoric）与认知性不确定性（epistemic），发现集成方法和自助采样法在校准性和鲁棒性方面持续优于MC-Dropout，尤其在分布外（domain shift）情况下表现更优。

ABSTRACT

Advances in deep neural network (DNN) based molecular property prediction have recently led to the development of models of remarkable accuracy and generalization ability, with graph convolution neural networks (GCNNs) reporting state-of-the-art performance for this task. However, some challenges remain and one of the most important that needs to be fully addressed concerns uncertainty quantification. DNN performance is affected by the volume and the quality of the training samples. Therefore, establishing when and to what extent a prediction can be considered reliable is just as important as outputting accurate predictions, especially when out-of-domain molecules are targeted. Recently, several methods to account for uncertainty in DNNs have been proposed, most of which are based on approximate Bayesian inference. Among these, only a few scale to the large datasets required in applications. Evaluating and comparing these methods has recently attracted great interest, but results are generally fragmented and absent for molecular property prediction. In this paper, we aim to quantitatively compare scalable techniques for uncertainty estimation in GCNNs. We introduce a set of quantitative criteria to capture different uncertainty aspects, and then use these criteria to compare MC-Dropout, deep ensembles, and bootstrapping, both theoretically in a unified framework that separates aleatoric/epistemic uncertainty and experimentally on the QM9 dataset. Our experiments quantify the performance of the different uncertainty estimation methods and their impact on uncertainty-related error reduction. Our findings indicate that ensembling and bootstrapping consistently outperform MC-Dropout, with different context-specific pros and cons. Our analysis also leads to a better understanding of the role of aleatoric/epistemic uncertainty and highlights the challenge posed by out-of-domain uncertainty.

研究动机与目标

• 评估深度学习中可扩展的不确定性估计技术在分子性质预测中的应用，重点关注图卷积神经网络（GCNNs）。
• 解决深度神经网络（DNNs）中不确定性量化的关键挑战，特别是在药物发现中常见的分布外分子场景。
• 通过统一框架区分偶然性不确定性（数据驱动）与认知性不确定性（模型驱动），比较MC-Dropout、深度集成与自助采样法。
• 从多个维度评估方法表现：置信度排序、校准性（两种定义）、离散度（dispersion）以及对分布偏移的鲁棒性。
• 在化学信息学背景下，提供不确定性方法的全面、定量比较，其中数据偏差与分布偏移普遍存在。

提出的方法

• 提出统一的理论框架，以在深度神经网络中分离偶然性不确定性（数据驱动）与认知性不确定性（模型驱动）。
• 采用MC-Dropout结合Concrete Dropout，实现在GCNNs中高效近似贝叶斯推理。
• 应用深度集成与数据自助采样法，作为近似贝叶斯推理的可扩展替代方案。
• 使用基于骨架（scaffold-based）的训练/验证/测试划分的QM9数据集，评估方法对分布偏移的鲁棒性。
• 采用两种校准定义：基于误差的校准（按不确定性分箱）与基于置信度的校准（按预测不确定性分箱），并辅以统计检验。
• 引入用于评估不确定性的指标：不确定性排序、离散度（估计异质性）以及分布外泛化能力。

实验结果

研究问题

• RQ1 MC-Dropout、深度集成与自助采样法在不同校准定义下，其不确定性校准性能如何比较？
• RQ2 哪种方法在按置信度排序预测并识别可靠预测方面表现最佳？
• RQ3 这些方法在分别估计认知性与偶然性不确定性分量方面表现如何？
• RQ4 不确定性估计对误差减少有何影响，特别是在分布偏移条件下？
• RQ5 在使用基于骨架的数据划分时，这些方法在对分布外分子的鲁棒性方面表现如何比较？

主要发现

• 集成方法与自助采样法在不确定性校准方面持续优于MC-Dropout，其中自助采样法在认知性不确定性校准与整体分布外校准方面表现更优。
• MC-Dropout在高不确定性区间表现出较差的校准稳定性，主要由于不确定性估计非均匀分布及数据稀疏性。
• 当不确定性分布呈偏态（在分子数据集中常见）时，基于置信度的校准比基于误差的校准结果更稳定、噪声更小。
• 本研究发现，认知性不确定性对总误差有显著贡献，其准确量化对化学空间中可靠预测至关重要。
• 尽管在分布内设置下表现良好，所有方法在分布外不确定性校准方面仍表现不佳，凸显了其在真实世界应用中的关键局限性。
• 集成方法在整体平均绝对误差（MAE）与预测排序性能方面更优，而自助采样法在分布偏移下更擅长捕捉模型不确定性。