[论文解读] Does GNN Pretraining Help Molecular Representation?

Ruoxi Sun, Dai, Hanjun+1 more|arXiv (Cornell University)|Jul 13, 2022

Machine Learning in Materials ScienceMaterials Science被引用 18

一句话总结

本文研究了自监督图神经网络（GNN）预训练是否能提升小分子数据集上的分子表征学习效果。通过在预训练目标、数据划分、特征工程和超参数设置等方面进行系统的消融实验，作者发现，与从零开始训练相比，预训练通常不会带来统计上显著的性能提升，且超参数调优和特征工程的收益可能超过预训练带来的增益，从而对分子AI中GNN预训练的普适性假设提出质疑。

ABSTRACT

Extracting informative representations of molecules using Graph neural networks (GNNs) is crucial in AI-driven drug discovery. Recently, the graph research community has been trying to replicate the success of self-supervised pretraining in natural language processing, with several successes claimed. However, we find the benefit brought by self-supervised pretraining on small molecular data can be negligible in many cases. We conduct thorough ablation studies on the key components of GNN pretraining, including pretraining objectives, data splitting methods, input features, pretraining dataset scales, and GNN architectures, to see how they affect the accuracy of the downstream tasks. Our first important finding is, self-supervised graph pretraining do not always have statistically significant advantages over non-pretraining methods in many settings. Secondly, although noticeable improvement can be observed with additional supervised pretraining, the improvement may diminish with richer features or more balanced data splits. Thirdly, hyper-parameters could have larger impacts on accuracy of downstream tasks than the choice of pretraining tasks, especially when the scales of downstream tasks are small. Finally, we provide our conjectures where the complexity of some pretraining methods on small molecules might be insufficient, followed by empirical evidences on different pretraining datasets.

研究动机与目标

• 评估自监督GNN预训练是否能为分子性质预测任务带来一致的性能提升。
• 分离并分析关键实验因素（如数据划分方式、输入特征、预训练目标和超参数）对下游性能的影响。
• 挑战预训练普遍提升分子表征学习效果的假设，尤其是在小规模数据集上的情况。
• 探究为何某些预训练方法可能无法有效将知识迁移至下游分子任务。
• 通过识别可能掩盖或夸大预训练收益的混淆因素，为未来研究提供指导。

提出的方法

• 作者在13种实验配置下开展系统性消融研究，变量包括预训练目标（自监督、监督或两者结合）、输入特征（基础特征 vs. 丰富特征）、数据划分方式（骨架划分 vs. 平衡划分）以及GNN架构（GIN、GraphSAGE）。
• 在五个基准分子数据集（BBBP、BACE、TOX21、TOXCAST和SIDER）上评估性能，采用标准二分类指标，并通过重复运行确保统计可靠性。
• 将从随机初始化训练的模型与在大规模无标签数据集（如ZINC15和SAVI）上预训练后微调的模型进行对比。
• 针对每种配置执行超参数搜索，通过调整初始学习率和训练重复次数来评估模型敏感性。
• 通过比较不同配置下的实证结果，分离出预训练对性能的贡献，同时排除特征工程和数据划分策略等因素的影响。
• 复现先前研究（如GROVER、Hu et al.）的结果，以验证实验流程的可靠性并评估可复现性。

实验结果

研究问题

• RQ1 在大规模分子图上进行自监督预训练是否能为下游分子性质预测任务带来统计上显著的性能提升？
• RQ2 数据划分策略（如骨架划分 vs. 随机划分）如何影响预训练收益的观测结果？
• RQ3 手工设计的特征或超参数调优在多大程度上能超越预训练带来的收益？
• RQ4 在自监督预训练后添加监督预训练是否能带来一致的性能提升？在何种条件下这种提升会减弱？
• RQ5 为何当前的预训练目标可能无法有效将知识迁移至小分子数据集？

主要发现

• 在大多数分子基准任务上，仅采用自监督预训练无法带来相对于从随机初始化训练的统计显著性能提升。
• 在自监督预训练后加入监督预训练可观察到性能提升，但当使用更丰富的输入特征时，这些收益微弱或迅速减弱。
• 超参数选择（尤其是学习率和训练重复次数）对下游准确率的影响，远大于预训练目标的选择，尤其是在小数据集上。
• 数据划分方法显著影响结果：骨架划分常会掩盖预训练的优势，而平衡划分则能揭示更一致的趋势。
• 复现先前研究中声称的强预训练收益，需要大量超参数调优；在某些情况下，报告的性能提升可能更多源于实验设置本身，而非预训练机制。
• 作者推测，当前预训练目标的复杂度可能不足以捕捉小分子的结构特性，导致可迁移的知识有限。