[论文解读] Deciding when to stop: Efficient stopping of active learning guided drug-target prediction

Maja Temerinac-Ott, Armaghan W. Naik+1 more|arXiv (Cornell University)|Apr 9, 2015

Computational Drug Discovery Methods参考文献 29被引用 3

一句话总结

本文提出一种基于仿真的回归模型，用于预测药物-靶点相互作用预测中主动学习的准确率，实现最小性能损失的早期停止。通过在仿真数据上进行训练，该方法将实验成本降低了最多40%，同时在真实世界数据集上保持了高预测准确率。

ABSTRACT

Active learning has shown to reduce the number of experiments needed to obtain high-confidence drug-target predictions. However, in order to actually save experiments using active learning, it is crucial to have a method to evaluate the quality of the current prediction and decide when to stop the experimentation process. Only by applying reliable stoping criteria to active learning, time and costs in the experimental process can be actually saved. We compute active learning traces on simulated drug-target matrices in order to learn a regression model for the accuracy of the active learner. By analyzing the performance of the regression model on simulated data, we design stopping criteria for previously unseen experimental matrices. We demonstrate on four previously characterized drug effect data sets that applying the stopping criteria can result in upto 40% savings of the total experiments for highly accurate predictions.

研究动机与目标

• 为解决在药物-靶点预测中确定何时停止主动学习这一关键挑战，以避免不必要的实验。
• 开发一种可靠、数据驱动的停止标准，以最小化实验成本而不牺牲预测准确率。
• 利用仿真主动学习轨迹校准停止规则，使其可泛化至真实世界的药物-靶点相互作用矩阵。
• 证明基于预测模型准确率的早期停止可在显著减少实验次数的同时实现相当的性能。
• 提供一种可广泛应用于核化矩阵分解以外的其他主动学习方法的实用框架，适用于高通量生物筛选。

提出的方法

• 使用已知的生物数据模拟药物-靶点相互作用矩阵，生成具有迭代模型更新的主动学习轨迹。
• 从仿真主动学习过程中提取轨迹特征（例如，不确定性、标签一致性、预测方差）。
• 在仿真数据上训练回归模型，以预测主动学习者在未见测试集上的真实准确率。
• 将训练好的回归模型应用于真实世界的药物-靶点数据集，以估计主动学习过程中的当前模型性能。
• 利用预测准确率在进一步实验不太可能显著提升性能时触发停止。
• 基于最佳停止时间（BST）基准，比较多种停止标准（例如，不确定性、期望误差、预测准确率）的性能。

实验结果

研究问题

• RQ1 在仿真主动学习轨迹上训练的回归模型，能否准确预测药物-靶点预测模型在主动学习过程中的真实准确率？
• RQ2 基于不确定性、期望误差或预测准确率的停止标准中，哪一种最接近真实世界药物-靶点预测中的最优停止时间（BST）？
• RQ3 在不降低预测性能的前提下，通过应用基于仿真的停止规则，实验成本最多可降低多少？
• RQ4 与固定阈值和自适应阈值方法相比，所提出的停止规则在接近最佳停止时间方面的表现如何？
• RQ5 该框架是否可推广至核化矩阵分解以外的其他药物-靶点预测模型？

主要发现

• 在四个真实世界数据集上，预测准确率（PA）停止规则在阈值为0.9时，与最佳停止时间（BST）的平均差异最小，仅为13.7%。
• PA方法在保持高预测准确率的同时，将所需实验次数减少了最多40%，AUC值与完整实验基线相比仅低1–3%。
• 使用固定阈值的OU（总体不确定性）和MEE（最小期望误差）方法表现显著更差，与BST的平均差异超过30%。
• 自适应阈值虽提升了OU和MEE的性能，但仍不及PA方法，后者表现出最一致且准确的停止行为。
• 在三个高独特性数据集上，该方法仅需随机采样2–3倍的实验次数，便实现了99%的准确率，展现出显著的效率提升。
• 在仿真数据上训练的回归模型为真实模型准确率提供了可靠的下界估计，使真实应用中的有效早期停止成为可能。