[论文解读] ADMET property prediction through combinations of molecular fingerprints

James H. Notwell, Michael W. Wood|arXiv (Cornell University)|Sep 29, 2023

Computational Drug Discovery Methods被引用 7

一句话总结

本文提出了一种机器学习模型，结合扩展连通性指纹（ECFP）、Avalon、ErG 以及 200 个分子性质，采用 CatBoost 回归方法预测 ADMET 性质。该模型在 22 个 Therapeutics Data Commons 基准测试中取得前 1 名成绩的有 6 项，前 3 名成绩的有 16 项，表明丰富分子表征可显著提升预测准确性，优于深度学习模型。

ABSTRACT

While investigating methods to predict small molecule potencies, we found random forests or support vector machines paired with extended-connectivity fingerprints (ECFP) consistently outperformed recently developed methods. A detailed investigation into regression algorithms and molecular fingerprints revealed gradient-boosted decision trees, particularly CatBoost, in conjunction with a combination of ECFP, Avalon, and ErG fingerprints, as well as 200 molecular properties, to be most effective. Incorporating a graph neural network fingerprint further enhanced performance. We successfully validated our model across 22 Therapeutics Data Commons ADMET benchmarks. Our findings underscore the significance of richer molecular representations for accurate property prediction.

研究动机与目标

• 开发一种无需依赖深度神经网络的稳健且可泛化的模型，用于预测小分子的 ADMET 性质。
• 探究在 ADMET 预测中，结合分子指纹的传统机器学习方法是否优于最先进的深度学习模型。
• 评估整合多种指纹类型和分子描述符对预测性能的影响。
• 通过标准化基准测试，验证模型在多样化 ADMET 任务中的泛化能力。
• 探索在统一特征表示框架中，图神经网络指纹是否能进一步提升性能。

提出的方法

• 该模型采用 CatBoost 回归，结合了 ECFP、Avalon、ErG 指纹以及 200 个分子性质的综合分子表征。
• 特征工程包括多种指纹类型的拼接，以及分子量、环数等数值型分子描述符的整合。
• 采用时间分割验证策略以确保泛化能力，将特定日期之后记录的分子保留为最终测试集。
• 使用 Optuna 进行超参数优化，由于集成简便，实际调优中采用 LightGBM。
• 在特征集中增加了带有监督掩码的图同构网络（GIN），以探索神经指纹增强的效果。
• 使用平均绝对误差和基于排名的比较，在来自 Therapeutics Data Commons 的 22 个 ADMET 基准测试上评估模型性能。

Figure 1: Relative performance of the MapLight model, with (orange) and without (yellow) GNN fingerprints, compared to the current TDC leaderboards (dark blue). Bar heights and error bars correspond to the mean and standard deviation across 5 random seeds.

实验结果

研究问题

• RQ1 结合多种分子指纹的传统机器学习模型是否能在 ADMET 性质预测中超越深度学习模型？
• RQ2 与单一指纹相比，整合多种指纹类型（ECFP、Avalon、ErG）对预测准确率有何影响？
• RQ3 在与指纹结合时，分子性质在多大程度上提升了模型性能？
• RQ4 在多样化 ADMET 任务中，添加图神经网络指纹是否能进一步提升性能？
• RQ5 一个单一的统一模型是否能在无需任务特定微调的情况下，泛化至 22 个不同的 ADMET 预测基准测试？

主要发现

• 采用 ECFP、Avalon、ErG 指纹及 200 个分子性质的 CatBoost 模型在 22 个 Therapeutics Data Commons ADMET 基准测试中，有 6 项获得第一名。
• 同一模型在 22 项基准测试中取得前 3 名成绩的有 16 项，表明其在多样化 ADMET 任务中具有强大的泛化能力。
• 添加 GIN（图同构网络）指纹后性能进一步提升，使模型在 22 项基准中 11 项排名第一，19 项排名前三。
• 尽管进行了广泛的超参数调优，除调整 CatBoost 的随机强度外，未在默认的 LightGBM 或 CatBoost 设置上发现显著性能提升。
• 模型在时间分割验证中表现稳定，表明其对时间数据漂移具有鲁棒性，且过拟合风险较低。
• 即使在大规模数据集上预训练，基于传统指纹的模型仍优于 Chemprop、ChemBERTa 和 Grover 等深度学习模型。