[论文解读] Fragment-based Pretraining and Finetuning on Molecular Graphs

Kha-Dinh Luong, Ambuj K. Singh|arXiv (Cornell University)|Oct 5, 2023

Computational Drug Discovery Methods被引用 4

一句话总结

该论文提出GraphFP，一种基于片段的分子图预训练框架，通过对比学习联合训练分子图和片段图GNN，以在多分辨率下捕捉结构信息。通过挖掘一组紧凑且化学意义明确的片段词汇，并强制片段嵌入与原子聚合嵌入之间的一致性，GraphFP在8项分子基准测试中提升了5项性能，并将长程生物基准结果提升至少11.5%。

ABSTRACT

Property prediction on molecular graphs is an important application of Graph Neural Networks. Recently, unlabeled molecular data has become abundant, which facilitates the rapid development of self-supervised learning for GNNs in the chemical domain. In this work, we propose pretraining GNNs at the fragment level, a promising middle ground to overcome the limitations of node-level and graph-level pretraining. Borrowing techniques from recent work on principal subgraph mining, we obtain a compact vocabulary of prevalent fragments from a large pretraining dataset. From the extracted vocabulary, we introduce several fragment-based contrastive and predictive pretraining tasks. The contrastive learning task jointly pretrains two different GNNs: one on molecular graphs and the other on fragment graphs, which represents higher-order connectivity within molecules. By enforcing consistency between the fragment embedding and the aggregated embedding of the corresponding atoms from the molecular graphs, we ensure that the embeddings capture structural information at multiple resolutions. The structural information of fragment graphs is further exploited to extract auxiliary labels for graph-level predictive pretraining. We employ both the pretrained molecular-based and fragment-based GNNs for downstream prediction, thus utilizing the fragment information during finetuning. Our graph fragment-based pretraining (GraphFP) advances the performances on 5 out of 8 common molecular benchmarks and improves the performances on long-range biological benchmarks by at least 11.5%. Code is available at: https://github.com/lvkd84/GraphFP.

研究动机与目标

• 解决现有图神经网络在分子性质预测中节点级与图级预训练的局限性。
• 通过引入双编码器框架，克服现有基于片段方法中过度平滑与结构保真度损失的问题。
• 开发一种化学上忠实的自监督预训练策略，避免使用数据增强或3D坐标等特权信息。
• 通过片段级表征学习，提升在多样化分子与长程生物基准上的下游性能。
• 通过基于主子图挖掘的合理片段词汇，学习分层结构表征，实现更好的泛化能力。

提出的方法

• 使用主子图挖掘从大规模预训练数据集中提取一组紧凑、多样且化学意义明确的常见片段词汇。
• 训练两个独立的GNN：一个在分子图上（节点级），一个在片段图上（更高阶连接性），采用对比学习目标。
• 通过强制片段嵌入与分子图中其组成原子的聚合嵌入之间的一致性，对齐多尺度表征。
• 引入基于片段图衍生标签（如结构性质）的预测性预训练任务，以增强分子GNN的理解能力。
• 在微调阶段同时使用预训练的分子GNN与片段GNN，以利用片段级结构知识。
• 不仅将片段图用于对比学习，还用于生成图级预测预训练的辅助标签。

Figure 1: Fragment-based contrastive pretraining framework. $\textsc{GNN}_{M}$ processes molecular graphs while $\textsc{GNN}_{F}$ processes fragment graphs. The fragment-based pooling function FragPool aggregates node embeddings into a combined embedding that forms a positive contrastive pair with

实验结果

研究问题

• RQ1 与节点级或图级预训练相比，片段级预训练是否能提升分子图表征学习效果？
• RQ2 通过对比学习联合预训练分子GNN与片段GNN，对多样化分子基准的下游性能有何影响？
• RQ3 片段词汇的大小与质量对自监督预训练有效性有何影响？
• RQ4 基于片段的表征是否能提升长程生物性质预测任务的性能？
• RQ5 缺乏数据增强或特权信息（如3D坐标）对学习表征的有效性与泛化能力有何影响？

主要发现

• GraphFP在8项标准分子性质预测基准中的5项达到最先进或具有竞争力的性能。
• 与基线方法相比，该方法在长程生物基准上的性能提升至少11.5%。
• t-SNE可视化结果表明，片段嵌入能够捕捉更高阶的结构模式，且按分子骨架呈现明显聚类。
• 同一片段内的原子嵌入在潜在空间中聚集在一起，表明池化后的节点表征能有效编码更高阶连接性。
• 当片段词汇大小超过最优点（如3,200）后，性能开始下降，可能由于参数量增加与结构保真度降低。
• GNN架构的选择显著影响性能，其中GIN在各项基准上平均表现最佳。

Figure 2: Fragment-based predictive pretraining. $\textsc{GNN}_{M}$ processes molecular graphs and produces graph-level embeddings used for prediction. The right upper box shows unique fragments that exist in the input molecule while the right lower box shows the ground-truth structural backbone. A