[论文解读] Multitask Learning On Graph Neural Networks Applied To Molecular Property Predictions

Fábio Capela, Vincent Nouchi+3 more|arXiv (Cornell University)|Oct 29, 2019

Computational Drug Discovery Methods被引用 9

一句话总结

本文提出了一种基于图神经网络（GNNs）的多任务学习框架，用于分子性质预测，表明联合训练多个理化性质可提升模型性能并降低方差。关键贡献在于，多任务学习作为一种隐式的数据增强方式，显著提升了性能，尤其是在小样本数据集上，且无需显式的数据增强或迁移学习优势。

ABSTRACT

Prediction of molecular properties, including physico-chemical properties, is a challenging task in chemistry. Herein we present a new state-of-the-art multitask prediction method based on existing graph neural network models. We have used different architectures for our models and the results clearly demonstrate that multitask learning can improve model performance. Additionally, a significant reduction of variance in the models has been observed. Most importantly, datasets with a small amount of data points reach better results without the need of augmentation.

研究动机与目标

• 为解决分子性质预测中因昂贵或耗时的理化测量而导致的数据有限问题。
• 通过使用GNN的多任务学习，在低数据环境下提升模型泛化能力并减少过拟合。
• 评估多任务训练是否能在多样化的分子性质预测任务中提升性能与鲁棒性。
• 探究基于目标相关性的数据选择策略，以及预训练GNN嵌入表示中缺乏可迁移性的角色。

提出的方法

• 采用GIN、GGRNet和GAIN等图神经网络架构，利用原子和键特征对分子图进行建模。
• 通过在六个分子性质预测任务（Esol、FreeSolv、logD7.4、BP、LogVP和LogP）上联合训练，实施多任务学习。
• 基于目标属性之间的相关性，采用数据选择策略以提升模型性能。
• 采用端到端训练方式，共享GNN编码器层并使用任务特定的分类头，以所有任务的RMSE为优化目标。
• 通过冻结GNN卷积层并在保留任务上微调最终分类器，开展迁移学习实验。
• 分析训练过程中权重分布的动态变化，以理解归纳偏差与模型泛化能力。

实验结果

研究问题

• RQ1 使用GNN的多任务学习是否能提升分子性质预测的准确性并降低方差，尤其是在小样本数据集上？
• RQ2 基于目标相关性的数据选择是否能提升多任务学习的性能？
• RQ3 从预训练模型中学习到的GNN表示是否在新、未见过的分子性质任务中具有显著可迁移性？
• RQ4 多任务模型在训练过程中，其权重分布与单任务模型有何不同？

主要发现

• 多任务学习在所有任务中显著降低了RMSE，表现最佳的模型（GGRNet）在Esol上达到0.53±0.02 RMSE，在FreeSolv上达到0.80±0.03 RMSE。
• 采用数据选择策略的GIN模型在LogP上达到0.47±0.01 RMSE，优于单任务基线的0.48±0.02。
• 在迁移学习实验中未观察到有意义的可迁移性，微调保留任务的表现始终恶化或未见提升。
• 多任务模型的权重分布在整个训练过程中保持更宽，表明对假设空间的探索更充分，且过拟合程度更低。
• 多任务学习的性能提升主要源于相关任务合并带来的隐式数据增强，而非特征迁移。
• 基于目标相关性的数据选择策略带来了持续的性能提升，除非存在潜在的欠拟合情况（如LogVP和logD7.4）。