[论文解读] Current Methods for Drug Property Prediction in the Real World

Jacob Green, Cecilia Cabrera Diaz+4 more|arXiv (Cornell University)|Jul 25, 2023

Computational Drug Discovery Methods被引用 5

一句话总结

本研究在来自TDC、MoleculeNet和OPERA的多样化数据集上，对多种机器学习方法在药物性质预测中的表现进行了大规模实证比较，评估了经典模型（如高斯过程、随机森林）与深度学习方法（如图神经网络、语言模型）。研究发现，性能高度依赖于数据集类型，经典方法在QSAR数据上通常优于深度学习方法，尤其强调了不确定性量化和计算效率在实际药物发现工作流中的关键作用。

ABSTRACT

Predicting drug properties is key in drug discovery to enable de-risking of assets before expensive clinical trials, and to find highly active compounds faster. Interest from the Machine Learning community has led to the release of a variety of benchmark datasets and proposed methods. However, it remains unclear for practitioners which method or approach is most suitable, as different papers benchmark on different datasets and methods, leading to varying conclusions that are not easily compared. Our large-scale empirical study links together numerous earlier works on different datasets and methods; thus offering a comprehensive overview of the existing property classes, datasets, and their interactions with different methods. We emphasise the importance of uncertainty quantification and the time and therefore cost of applying these methods in the drug development decision-making cycle. We discover that the best method depends on the dataset, and that engineered features with classical ML methods often outperform deep learning. Specifically, QSAR datasets are typically best analysed with classical methods such as Gaussian Processes while ADMET datasets are sometimes better described by Trees or Deep Learning methods such as Graph Neural Networks or language models. Our work highlights that practitioners do not yet have a straightforward, black-box procedure to rely on, and sets the precedent for creating practitioner-relevant benchmarks. Deep learning approaches must be proven on these benchmarks to become the practical method of choice in drug property prediction.

研究动机与目标

• 解决在多样化数据集上药物性质预测方法缺乏一致且可比较基准的问题。
• 识别在不同类型的药物性质数据集中，哪些机器学习模型能持续优于其他模型。
• 评估并验证多种模型中的不确定性量化，以支持药物发现中的稳健决策。
• 评估预测性能与计算运行时间之间的权衡，以指导在时间敏感的药物开发流程中的实际部署。
• 为实践者相关基准奠定基础，以便在真实场景中采用前评估未来方法。

提出的方法

• 在TDC、MoleculeNet和OPERA的12个公开数据集上，对12种经典与深度学习模型进行了大规模实证研究。
• 所有模型和数据集均采用标准化的数据划分和评估指标（NRMSE、NLPD），以确保可比性。
• 通过随机搜索结合三重交叉验证进行超参数优化，并在完整训练集上重新训练最终模型。
• 为概率模型（如高斯过程、贝叶斯神经网络）集成不确定性量化，并使用NLPD和预测区间评估校准性。
• 在GPU和CPU上测量训练、推理和特征工程的运行时间，以评估计算成本与可扩展性。
• 使用多种分子描述符（ECFP、Mordred、Mol2Vec、InfoMax2D等）评估特征工程对模型性能的影响。

实验结果

研究问题

• RQ1 RQ1：在多样化药物性质预测数据集中，是否存在一种机器学习方法始终优于其他方法？
• RQ2 RQ2：能否识别出某些数据集组，使得单一方法在其中持续优于所有其他方法？
• RQ3 RQ3：在分子性质预测中，如何在不同机器学习模型之间有效量化和验证不确定性？
• RQ4 RQ4：在实际药物发现应用中，预测性能与计算运行时间之间的权衡是什么？

主要发现

• 经典机器学习方法，特别是使用工程化特征（如ECFP、Mol2Vec）的高斯过程，在QSAR数据集上持续优于深度学习模型，取得了最低的NRMSE和NLPD分数。
• 在ADMET数据集上，树基模型（如LightGBM）和图神经网络（GNNs）表现出色，其中DMPNN和GCN等GNN在US9908845B2等特定数据集上取得了具有竞争力的结果。
• 使用化学信息核的高斯过程（GP-C）在多个QSAR数据集上实现了最先进性能，包括COVID_moonshot数据集，NRMSE为2.411，NLPD为0.01869。
• 深度学习模型如ChemBERTa-2和MTL-BERT计算成本较高，尽管预测性能中等，但在大尺寸数据集上的训练时间超过20小时。
• 不确定性量化在高斯过程模型中最可靠，预测区间校准良好；而深度学习模型通常表现出过度自信或校准性差。
• 运行时间差异显著：基于ECFP的模型训练时间不足10分钟，而GNN和语言模型在大尺寸数据集上需超过10小时，凸显了准确率与速度之间的重大权衡。