[论文解读] Dual-view Molecule Pre-training

Jinhua Zhu, Yingce Xia+4 more|arXiv (Cornell University)|Jun 17, 2021

Computational Drug Discovery Methods参考文献 55被引用 15

一句话总结

本文提出了一种新型的预训练框架——双视角分子预训练（Dual-view Molecule Pre-training, DMP），通过联合利用SMILES序列（通过Transformer）和分子图（通过GNN）来学习统一的分子表征。通过结合掩码语言建模、掩码原子预测以及最大化两视角之间相似性的双视角一致性目标，DMP在9项分子性质预测任务中的7项以及3项逆合成任务中均取得了最先进性能，显著优于先前方法。

ABSTRACT

Inspired by its success in natural language processing and computer vision, pre-training has attracted substantial attention in cheminformatics and bioinformatics, especially for molecule based tasks. A molecule can be represented by either a graph (where atoms are connected by bonds) or a SMILES sequence (where depth-first-search is applied to the molecular graph with specific rules). Existing works on molecule pre-training use either graph representations only or SMILES representations only. In this work, we propose to leverage both the representations and design a new pre-training algorithm, dual-view molecule pre-training (briefly, DMP), that can effectively combine the strengths of both types of molecule representations. The model of DMP consists of two branches: a Transformer branch that takes the SMILES sequence of a molecule as input, and a GNN branch that takes a molecular graph as input. The training of DMP contains three tasks: (1) predicting masked tokens in a SMILES sequence by the Transformer branch, (2) predicting masked atoms in a molecular graph by the GNN branch, and (3) maximizing the consistency between the two high-level representations output by the Transformer and GNN branches separately. After pre-training, we can use either the Transformer branch (this one is recommended according to empirical results), the GNN branch, or both for downstream tasks. DMP is tested on nine molecular property prediction tasks and achieves state-of-the-art performances on seven of them. Furthermore, we test DMP on three retrosynthesis tasks and achieve state-of-the-art results on them.

研究动机与目标

• 解决现有分子预训练方法仅依赖单一表征类型（即SMILES序列或分子图）的局限性。
• 探索基于Transformer的序列建模与基于GNN的结构建模在分子表征学习中的互补优势。
• 设计一种统一的预训练框架，联合优化两种视角，并强制其高层表征之间的一致性。
• 通过更优、更鲁棒的表征提升下游分子性质预测与逆合成任务的性能。

提出的方法

• DMP采用双分支架构：一个Transformer分支处理SMILES序列，一个GNN分支处理分子图。
• 模型通过三种目标进行预训练：SMILES序列中的掩码标记预测、分子图中的掩码原子预测，以及通过对比学习实现的双视角一致性。
• 双视角一致性目标通过最大化两个分支投影表征之间的余弦相似度来实现，灵感源自BYOL框架。
• 通过在Transformer和GNN输出上分别应用投影头，强制实现表征一致性。
• 预训练完成后，模型可仅使用Transformer分支、仅使用GNN分支或两者联合进行微调，实证结果表明下游任务中更推荐使用Transformer分支。
• 预训练在PubChem的1000万个分子上进行，随后在MoleculeNet和逆合成基准上进行微调。

实验结果

研究问题

• RQ1 将SMILES序列与分子图表征相结合，是否能超越单独使用任一视角，在分子表征学习上取得更优效果？
• RQ2 强制双视角表征之间的一致性，是否能提升分子性质预测与逆合成任务的下游性能？
• RQ3 与仅使用掩码语言建模等标准预训练目标相比，双视角一致性目标表现如何？
• RQ4 与单视角模型相比，双视角方法是否能更好地捕捉骨架级结构信息？
• RQ5 SMILES与图视角的联合学习是否能产生更具鲁棒性与泛化能力的表征，适用于多样化分子结构？

主要发现

• 在MoleculeNet的9项分子性质预测任务中，DMP在7项任务上达到最先进性能，分别优于MolCLR和GROVER平均1.2分和2.2分。
• 在USPTO-50k数据集上的逆合成任务中，DMP在未知反应类型设置下将Top-1准确率从42.3%提升至46.1%，在已知类型设置下从54.2%提升至57.5%。
• 在USPTO-full数据集上，DMP使Transformer基线的Top-1准确率提升2.1分，创下新最先进水平。
• 通过t-SNE可视化与DB指数分析显示，DMP的表征能更优地区分不同骨架的分子，DB指数为2.19，显著优于GNN（3.56）与Transformer（3.59）。
• 结合DMP的GNN模型在逆合成任务中达到最先进结果，相比GLN与DeeperGCN基线提升2.3–3.3分。
• 消融实验确认性能提升源于预训练过程而非网络架构差异，因为将DMP与DeeperGCN结合可进一步提升性能。