[论文解读] Do Large Scale Molecular Language Representations Capture Important Structural Information

Jerret Ross, Brian Belgodere+4 more|arXiv (Cornell University)|Jun 17, 2021

Computational Drug Discovery Methods参考文献 59被引用 11

一句话总结

该论文提出了MoLFormer，一种在11亿条未标注SMILES序列上使用线性注意力机制进行高效并行训练的大规模分子语言模型。该模型能有效捕捉结构信息，在QM8和QM9性质预测基准测试中表现优异，通过微调可进一步提升性能。

ABSTRACT

Predicting chemical properties from the structure of a molecule is of great importance in many applications including drug discovery and material design. Machine learning based molecular property prediction holds the promise of enabling accurate predictions at much less complexity, when compared to, for example Density Functional Theory (DFT) calculations. Features extracted from molecular graphs, using graph neural nets in a supervised manner, have emerged as strong baselines for such tasks. However, the vast chemical space together with the limited availability of labels makes supervised learning challenging, calling for learning a general-purpose molecular representation. Recently, pre-trained transformer-based language models (PTLMs) on large unlabeled corpus have produced state-of-the-art results in many downstream natural language processing tasks. Inspired by this development, here we present molecular embeddings obtained by training an efficient transformer encoder model, referred to as MoLFormer. This model was employed with a linear attention mechanism and highly paralleized training on 1D SMILES sequences of 1.1 billion unlabeled molecules from the PubChem and ZINC datasets. Experiments show that the learned molecular representation performs competitively, when compared to existing graph-based and fingerprint-based supervised learning baselines, on the challenging tasks of predicting properties of QM8 and QM9 molecules. Further task-specific fine-tuning of the MoLFormerr representation improves performance on several of those property prediction benchmarks. These results provide encouraging evidence that large-scale molecular language models can capture sufficient structural information to be able to accurately predict quantum chemical properties and beyond.

研究动机与目标

• 探究大规模预训练分子语言模型是否能够捕捉预测量子化学性质所必需的结构信息。
• 通过在大规模未标注分子语料库上进行无监督预训练，解决分子性质预测中标签数据有限的挑战。
• 开发一种基于Transformer的高效模型，能够在不依赖图结构表示的情况下实现大规模分子序列的可扩展训练。
• 评估所学分子表征在多样化分子性质预测任务中的泛化能力与迁移能力。

提出的方法

• 在PubChem和ZINC数据集中的11亿条未标注SMILES序列上训练Transformer编码器模型MoLFormer，以学习通用分子表征。
• 采用线性注意力机制以降低计算复杂度，并实现在长SMILES序列上的高度并行化训练。
• 在预训练过程中使用掩码语言建模目标，预测SMILES字符串中的掩码标记，类似于自然语言处理中的预训练范式。
• 通过在下游性质预测任务上进行微调，利用QM8和QM9等标准基准评估所学表征。
• 与基于图神经网络和指纹的监督基线模型进行性能比较，以评估表征质量。
• 对MoLFormer表征应用任务特定的微调，以提升在特定量子化学性质预测任务中的性能。

实验结果

研究问题

• RQ1 在SMILES序列上预训练的大规模基于Transformer的语言模型是否能够学习到捕捉量子化学性质预测所需关键结构信息的分子表征？
• RQ2 MoLFormer在标准分子性质预测基准上的性能与成熟的基于图的方法和指纹方法的监督基线相比如何？
• RQ3 对预训练的MoLFormer表征进行微调，在多大程度上能提升下游性质预测任务的性能？
• RQ4 线性注意力机制是否能够在不牺牲表征质量的前提下，实现大规模分子语言模型的有效且高效训练？

主要发现

• MoLFormer在QM8和QM9分子性质预测基准测试中表现具有竞争力，表明在SMILES序列上进行大规模语言建模可生成强大的通用分子表征。
• 预训练的MoLFormer表征在多个性质预测任务中表现出良好的泛化能力，性能优于或匹配基于监督的图神经网络和指纹方法。
• 对MoLFormer表征进行微调可显著提升多个基准测试的性能，表明其具有强大的迁移能力和对下游任务的适应性。
• 采用线性注意力机制实现了在大规模SMILES数据上的高效、高度并行化训练，使在数十亿分子上进行预训练成为可能。
• 结果有力证明，大规模分子语言模型能够有效捕捉准确预测量子化学性质所必需的结构与化学信息。
• 该模型的性能表明，基于SMILES的语言建模是分子表征学习中图结构或指纹方法的可行替代方案。