[论文解读] Concepts and Applications of Conformal Prediction in Computational Drug Discovery

Isidro Cortés‐Ciriano, Andreas Bender|arXiv (Cornell University)|Aug 9, 2019

Computational Drug Discovery Methods参考文献 100被引用 26

一句话总结

本文将预测校准（CP）作为一种可靠方法引入计算药物发现中的预测不确定性估计，为回归和分类任务提供可解释的置信区间。通过以极低的计算成本将CP与任意机器学习模型结合，确保具有理论保证的有效预测集，显著提升对人工智能驱动药物发现决策的信任度。

ABSTRACT

Estimating the reliability of individual predictions is key to increase the adoption of computational models and artificial intelligence in preclinical drug discovery, as well as to foster its application to guide decision making in clinical settings. Among the large number of algorithms developed over the last decades to compute prediction errors, Conformal Prediction (CP) has gained increasing attention in the computational drug discovery community. A major reason for its recent popularity is the ease of interpretation of the computed prediction errors in both classification and regression tasks. For instance, at a confidence level of 90% the true value will be within the predicted confidence intervals in at least 90% of the cases. This so called validity of conformal predictors is guaranteed by the robust mathematical foundation underlying CP. The versatility of CP relies on its minimal computational footprint, as it can be easily coupled to any machine learning algorithm at little computational cost. In this review, we summarize underlying concepts and practical applications of CP with a particular focus on virtual screening and activity modelling, and list open source implementations of relevant software. Finally, we describe the current limitations in the field, and provide a perspective on future opportunities for CP in preclinical and clinical drug discovery.

研究动机与目标

• 解决计算药物发现模型中对可靠不确定性估计的迫切需求。
• 展示预测校准如何提升模型可解释性，并增强临床前和临床决策中的信任度。
• 为在虚拟筛选和活性建模工作流中实施CP提供实用指导。
• 突出CP在药物发现中应用的开源工具及当前局限性。
• 概述预测校准在推动人工智能驱动药物开发方面的未来机遇。

提出的方法

• 将预测校准应用于药物发现中的机器学习模型，生成具有保证覆盖概率的预测区间。
• 该方法通过使用非符合性评分对预测进行校准，在假设最少的情况下确保有效性。
• 可与任意基学习器兼容，包括随机森林、神经网络和梯度提升，计算开销极低。
• 该方法采用合适的训练与校准数据划分，计算保持用户定义置信水平的预测集。
• 在分类任务中，输出预测集而非单一标签，且所有测试实例均具有覆盖保证。
• 该框架通过开源库实现，便于集成到现有的药物发现工作流中。

实验结果

研究问题

• RQ1 预测校准如何提升计算药物发现中机器学习模型的可靠性与可解释性？
• RQ2 预测校准对虚拟筛选和活性建模任务中预测区间的覆盖效果有何影响？
• RQ3 与传统不确定性估计方法相比，预测校准在计算成本和鲁棒性方面表现如何？
• RQ4 在实际药物发现工作流中应用预测校准时面临哪些实际挑战与局限性？
• RQ5 为将预测校准扩展至药物发现中的临床决策支持，未来需要哪些发展？

主要发现

• 预测校准确保真实值以用户定义的概率（如90%）落入预测置信区间，且在所有测试案例中均成立。
• 该方法在假设最少的情况下保持有效性，对模型误设和数据分布偏移具有鲁棒性。
• 可无缝集成到任意机器学习算法中，包括深度神经网络等复杂模型，且计算开销可忽略不计。
• 该方法生成可解释的预测集，尤其在不确定性量化至关重要的分类任务中优势显著。
• 开源实现已提供，支持广泛采用并可轻松集成到现有药物发现平台中。
• 尽管具有诸多优势，但在处理高维数据以及在大规模筛选应用中确保效率方面仍存在挑战。