[论文解读] A decision theoretic approach to model evaluation in computational drug discovery

Oliver P Watson, Isidro Cortés‐Ciriano+2 more|arXiv (Cornell University)|Jul 24, 2018

Computational Drug Discovery Methods参考文献 28被引用 3

一句话总结

本文提出一种基于决策理论的计算药物发现中模型评估方法，采用基于分位数的数据划分和基于排序的损失函数，以更准确评估模型的外推性能。研究发现，在高活性分子预测任务中，岭回归等简单模型的表现优于深度神经网络和随机森林等复杂机器学习方法。

ABSTRACT

Artificial intelligence, trained via machine learning or computational statistics algorithms, holds much promise for the improvement of small molecule drug discovery. However, structure-activity data are high dimensional with low signal-to-noise ratios and proper validation of predictive methods is difficult. It is poorly understood which, if any, of the currently available machine learning algorithms will best predict new candidate drugs. 25 publicly available molecular datasets were extracted from ChEMBL. Neural nets, random forests, support vector machines (regression) and ridge regression were then fitted to the structure-activity data. A new validation method, based on quantile splits on the activity distribution function, is proposed for the construction of training and testing sets. Model validation based on random partitioning of available data favours models which overfit and `memorize' the training set, namely random forests and deep neural nets. Partitioning based on quantiles of the activity distribution correctly penalizes models which can extrapolate onto structurally different molecules outside of the training data. This approach favours more constrained models, namely ridge regression and support vector regression. In addition, our new rank-based loss functions give considerably different results from mean squared error highlighting the necessity to define model optimality with respect to the decision task at hand. Model performance should be evaluated from a decision theoretic perspective with subjective loss functions. Data-splitting based on the separation of high and low activity data provides a robust methodology for determining the best extrapolating model. Simpler, traditional statistical methods such as ridge regression outperform state-of-the-art machine learning methods in this setting.

研究动机与目标

• 为解决小分子药物发现中机器学习模型常见的过拟合与泛化能力差的问题。
• 挑战标准随机划分在结构-活性关系（QSAR）建模中交叉验证的合理性。
• 提出一种基于决策理论的评估框架，使模型性能与现实药物发现目标保持一致。
• 证明在低信号、高维QSAR环境下，更简单、受约束的模型（如岭回归和支持向量回归）在预测新型高活性分子方面优于复杂模型。
• 引入并验证新的基于排序的损失函数，优先确保高活性化合物的准确预测。

提出的方法

• 使用来自ChEMBL的25个公开可用的分子数据集进行模型评估。
• 提出一种基于活性分布分位数的新数据划分策略，以模拟对未见分子空间的外推。
• 将此基于分位数的划分方法与标准随机划分在交叉验证中的表现进行比较。
• 采用四类模型：神经网络、随机森林、支持向量机（回归）和岭回归。
• 引入两种新的基于排序的损失函数：$L_{\min}^{\gamma}$（仅惩罚首个活性分子的排名）和$L_{\mathrm{sum}}^{\gamma}$（惩罚前几位活性分子排名的总和）。
• 使用均方误差和新的基于排序的损失函数评估模型性能，以反映药物发现中的决策优先级。

实验结果

研究问题

• RQ1 在QSAR建模中，交叉验证中的随机划分是否会导致对模型性能的过度乐观估计？
• RQ2 基于分位数的数据划分是否能更好地评估模型在外推至结构新颖、高活性分子方面的能力？
• RQ3 优先考虑高活性化合物预测的基于排序的损失函数，是否会导致与标准均方误差不同的模型性能排序？
• RQ4 在低信噪比、高维QSAR环境下，更简单、受约束的模型（如岭回归）是否优于复杂灵活的模型（如深度神经网络）？
• RQ5 通过使用主观的、任务特定的损失函数，药物发现中的模型评估是否能更好地与决策理论对齐？

主要发现

• 在交叉验证中使用随机划分会倾向于偏好过拟合的模型（如随机森林和深度神经网络），这些模型会记忆训练数据。
• 基于分位数的划分会惩罚无法泛化到新型分子空间的模型，从而更有利于更受约束的模型（如岭回归和支持向量回归）。
• 当使用$ L_{\min}^{\gamma} $损失函数评估时，岭回归在所有模型中表现最稳定，该函数优先确保最活跃分子的正确排序。
• 在$ L_{\mathrm{sum}}^{\gamma} $损失函数下，支持向量回归表现最佳，该函数惩罚前几位高活性分子的累积排名误差。
• 损失函数的选择会显著改变模型的性能排序，表明标准指标（如均方误差）不足以支持药物发现中的决策制定。
• 尽管深度学习方法广受欢迎，但在所提出的基于分位数的划分策略下，其预测能力完全丧失，表明其在低信号、高维QSAR数据中存在外推能力差的问题。