[论文解读] Deep learning is competing random forest in computational docking

Mohamed A. Khamis, Walid Gomaa+1 more|arXiv (Cornell University)|Aug 23, 2016

Computational Drug Discovery Methods被引用 5

一句话总结

本研究使用 PDBbind 2013 数据库评估了深度学习（DL）和随机森林（RF）打分函数在计算对接中的表现。结果表明，基于深度学习的打分函数在打分、排序、对接和虚拟筛选任务中均表现更优——尤其在 DL_RF 集成模型中，结合亲和力预测的皮尔逊相关系数达到 0.799，天然构象识别的成功率为 36.0%，在所有指标上均优于传统 RF 模型。

ABSTRACT

Computational docking is the core process of computer-aided drug design; it aims at predicting the best orientation and conformation of a small drug molecule when bound to a target large protein receptor. The docking quality is typically measured by a scoring function: a mathematical predictive model that produces a score representing the binding free energy and hence the stability of the resulting complex molecule. We analyze the performance of both learning techniques on the scoring power, the ranking power, docking power, and screening power using the PDBbind 2013 database. For the scoring and ranking powers, the proposed learning scoring functions depend on a wide range of features (energy terms, pharmacophore, intermolecular) that entirely characterize the protein-ligand complexes. For the docking and screening powers, the proposed learning scoring functions depend on the intermolecular features of the RF-Score to utilize a larger number of training complexes. For the scoring power, the DL\_RF scoring function achieves Pearson's correlation coefficient between the predicted and experimentally measured binding affinities of 0.799 versus 0.758 of the RF scoring function. For the ranking power, the DL scoring function ranks the ligands bound to fixed target protein with accuracy 54% for the high-level ranking and with accuracy 78% for the low-level ranking while the RF scoring function achieves (46% and 62%) respectively. For the docking power, the DL\_RF scoring function has a success rate when the three best-scored ligand binding poses are considered within 2 Å root-mean-square-deviation from the native pose of 36.0% versus 30.2% of the RF scoring function. For the screening power, the DL scoring function has an average enrichment factor and success rate at the top 1% level of (2.69 and 6.45%) respectively versus (1.61 and 4.84%) respectively of the RF scoring function.

研究动机与目标

• 使用 PDBbind 2013 基准数据集评估深度学习（DL）和随机森林（RF）打分函数在计算对接中的性能。
• 在四个关键对接评估标准（打分、排序、对接和虚拟筛选能力）下比较 DL 和 RF 模型的表现。
• 探究深度学习是否能在预测结合亲和力和识别天然结合构象方面超越成熟的基于 RF 的打分函数。
• 评估特征工程（尤其是能量项、药效团和分子间特征的组合）对模型性能的影响。
• 探索深度学习模型与随机森林模型在泛化能力方面的差异，特别是在避免训练数据过拟合方面的表现。

提出的方法

• 本研究采用广泛的分子特征：来自 RF-Score 的 36 个分子间特征，来自 BALL 软件的 5 个能量项，来自 X-Score 的 8 个特征，以及来自 SLIDE 软件的 59 个药效团特征，用于打分和排序任务。
• 在对接和虚拟筛选任务中，仅使用 RF-Score 的 36 个分子间特征，以增加训练复合物数量，应对测试集中大量诱饵分子的情况。
• 采用带有 L2 正则化和 Dropout 的多层神经网络训练深度学习模型，以减轻过拟合并提升泛化能力。
• 在相同特征集上训练随机森林模型，以确保与深度学习模型之间的公平比较。
• 通过 DL 与 RF 打分的算术平均值构建集成模型 DL_RF 打分函数，以融合两种模型的优势。
• 评估指标包括：打分能力的皮尔逊相关系数、高层级和低层级排序准确率、对接成功率的均方根偏差（RMSD），以及虚拟筛选的富集因子和前 1% 的成功率。

实验结果

研究问题

• RQ1 深度学习模型是否能在计算对接中预测结合亲和力方面优于随机森林模型？
• RQ2 DL 和 RF 打分函数在对同一蛋白靶标结合的多个配体进行排序时表现如何？
• RQ3 DL 和 RF 模型在从计算机生成的诱饵中识别天然结合构象的成功率是多少？
• RQ4 在虚拟筛选任务中，DL 和 RF 模型在将真实结合剂富集到命中列表顶部方面的有效性如何？
• RQ5 使用多样化分子特征（能量项、药效团、分子间特征）是否显著提升 DL 和 RF 模型的性能？

主要发现

• DL_RF 打分函数在预测结合亲和力与实验测得值之间的皮尔逊相关系数达到 0.799，优于 RF 打分函数的 0.758。
• 在高层级排序（每种蛋白正确排列前三个配体）中，DL 打分函数的准确率为 54%，高于 RF 模型的 46%。
• 在低层级排序（正确识别最佳配体）中，DL 模型的准确率为 78%，高于 RF 模型的 62%。
• 在对接能力方面，DL_RF 打分函数在 36.0% 的情况下能将天然结合构象识别在 2 Å RMSD 范围内，而 RF 模型为 30.2%。
• 在虚拟筛选中，DL 打分函数在前 1% 水平的平均富集因子为 2.69，成功率为 6.45%，优于 RF 模型的 1.61 和 4.84%。
• 尽管 DL 模型在训练集上的误差更高，但其在测试集上的表现更优，表明泛化能力更强，这可能是由于 L2 正则化和 Dropout 有效减少了过拟合，优于 RF 模型。