[论文解读] Modeling Industrial ADMET Data with Multitask Networks

Steven Kearnes, Brian Goldman+1 more|arXiv (Cornell University)|Jun 28, 2016

Computational Drug Discovery Methods参考文献 1被引用 43

一句话总结

本研究使用Vertex Pharmaceuticals提供的22个专有数据集，评估了多任务神经网络（MTNNs）在工业药物代谢动力学（ADMET）性质预测中的表现。研究发现，MTNNs相较于单任务模型仅带来适度的性能提升，且小规模数据集受益更多；同时强调多任务效应高度依赖于数据集，提示应优先采用数据集特定的模型设计，而非通用的数据扩展策略。

ABSTRACT

Deep learning methods such as multitask neural networks have recently been applied to ligand-based virtual screening and other drug discovery applications. Using a set of industrial ADMET datasets, we compare neural networks to standard baseline models and analyze multitask learning effects with both random cross-validation and a more relevant temporal validation scheme. We confirm that multitask learning can provide modest benefits over single-task models and show that smaller datasets tend to benefit more than larger datasets from multitask learning. Additionally, we find that adding massive amounts of side information is not guaranteed to improve performance relative to simpler multitask learning. Our results emphasize that multitask effects are highly dataset-dependent, suggesting the use of dataset-specific models to maximize overall performance.

研究动机与目标

• 比较多任务神经网络（MTNNs）与单任务模型及传统基线模型（如随机森林、逻辑回归）在工业ADMET数据预测中的表现。
• 评估时间序列验证与随机交叉验证在工业药物发现中对模型性能估计的影响。
• 研究影响多任务学习效果的因素，包括数据集规模、任务相关性以及辅助信息的引入。
• 评估在多任务模型中添加大量辅助信息是否能持续提升性能。
• 检查多任务模型中的信息泄露风险，以及在不同验证方案下性能提升的稳健性。

提出的方法

• 使用1024位二进制分子指纹作为输入特征，训练单任务（STNN）和多任务（MTNN）前馈神经网络。
• 通过类别权重处理ADMET数据集中类别不平衡问题，训练期间使活性/非活性类别实现平衡。
• 采用两种验证方案：随机交叉验证与时间序列验证（基于实验日期），以评估模型的前瞻性性能。
• 评估三种MTNN变体：无权重MTNN（U-MTNN）、加权MTNN（W-MTNN）以及具有共享隐藏层的多头结构（W-MTNN）。
• 以AUC为主要指标评估模型性能，通过配对AUC差异的符号检验评估统计显著性。
• 探索模型深度（如(1000)、(4000)、(2000,1000)、(4000,2000,1000,1000)）对不同数据集上性能的影响。

实验结果

研究问题

• RQ1 多任务学习是否在多种工业ADMET数据集中均能为单任务模型带来一致的性能提升？
• RQ2 时间序列验证与随机交叉验证在估计ADMET模型前瞻性预测性能方面有何差异？
• RQ3 相较于大规模数据集，小规模数据集在多任务学习中受益程度如何？
• RQ4 添加大量辅助信息是否能显著提升多任务模型性能，还是简单的多任务学习已足够？
• RQ5 多任务学习效果是否可基于数据集规模、任务相关性或类别不平衡程度进行预测？

主要发现

• 多任务神经网络在单任务模型基础上带来了适度但统计显著的性能提升，各数据集的中位AUC提升为0.010至0.017。
• 小规模数据集（如数据集G，共5,229个样本）从多任务学习中获得的相对收益明显高于大规模数据集（如数据集C，共67,839个样本）。
• 时间序列验证提供了更真实的性能估计，采用时间序列划分训练的模型AUC更低，表明过拟合程度更低。
• 添加大量辅助信息并不能保证性能提升；仅使用共享表示的简化多任务学习模型在性能上优于或等同于包含复杂辅助信息的模型。
• 符号检验结果表明，W-MTNN始终优于U-MTNN，15次比较中有8次的95%置信区间不包含0.5，表明具有统计显著性。
• 模型架构具有可测量的影响：更深的网络结构（如(4000,2000,1000,1000)）相较于浅层结构带来更高的AUC增益，尽管增益并非在所有情况下均具有统计显著性。