[论文解读] Infusing Linguistic Knowledge of SMILES into Chemical Language Models

Ingoo Lee, Hojung Nam|arXiv (Cornell University)|Apr 20, 2022

Computational Drug Discovery Methods被引用 9

一句话总结

本文提出了一种基于Transformer的化学语言模型，通过解析SMILES中的子结构及其语法关系，整合语言学知识。通过在子结构标记上进行预训练，并利用知识适配器注入连接性/类型知识，该模型在分子性质预测任务中实现了最先进性能，同时提升了注意力机制的可解释性与语法理解能力。

ABSTRACT

The simplified molecular-input line-entry system (SMILES) is the most popular representation of chemical compounds. Therefore, many SMILES-based molecular property prediction models have been developed. In particular, transformer-based models show promising performance because the model utilizes a massive chemical dataset for self-supervised learning. However, there is no transformer-based model to overcome the inherent limitations of SMILES, which result from the generation process of SMILES. In this study, we grammatically parsed SMILES to obtain connectivity between substructures and their type, which is called the grammatical knowledge of SMILES. First, we pretrained the transformers with substructural tokens, which were parsed from SMILES. Then, we used the training strategy 'same compound model' to better understand SMILES grammar. In addition, we injected knowledge of connectivity and type into the transformer with knowledge adapters. As a result, our representation model outperformed previous compound representations for the prediction of molecular properties. Finally, we analyzed the attention of the transformer model and adapters, demonstrating that the proposed model understands the grammar of SMILES.

研究动机与目标

• 解决SMILES在生成过程中固有的分子结构表示局限性。
• 通过整合SMILES中的语法结构与子结构连接性，改进分子表征学习。
• 开发一种基于Transformer的模型，通过子结构级别的预训练与知识注入，理解SMILES语法规则。
• 评估注入的语言学知识是否能提升分子性质预测任务中的模型性能与可解释性。

提出的方法

• 对SMILES进行语法解析，提取子结构及其连接类型，生成结构化的子结构标记。
• 在这些子结构标记上预训练Transformer模型，从大规模化学数据中学习分子语法规则。
• 采用“同一化合物模型”训练策略，通过利用同一分子的多种SMILES表示形式，增强表征学习。
• 通过知识适配器将连接性与子结构类型信息整合到Transformer中，实现对语言学知识的定向注入。
• 使用标准迁移学习协议，在分子性质预测基准数据集上微调模型。
• 分析注意力机制，验证模型是否学会关注语法上有意义的子结构。

实验结果

研究问题

• RQ1 对SMILES进行语法解析是否能提升基于Transformer的模型在分子表征学习中的表现？
• RQ2 通过知识适配器注入子结构连接性与类型信息，是否能提升模型在分子性质预测任务中的性能？
• RQ3 模型在多大程度上学会关注结构上有意义的子结构，这是否由注意力模式所指示？
• RQ4 与现有基于SMILES的模型相比，该方法在预测准确率与泛化能力方面表现如何？

主要发现

• 所提出的模型在分子性质预测基准测试中优于以往的化合物表征方法，展现出最先进性能。
• 注意力可视化结果证实，模型学会了关注语法上有意义的子结构，表明其结构理解能力得到提升。
• 知识适配器的使用有效将语言学知识注入Transformer模型，从而生成更具可解释性与准确性的表征。
• “同一化合物模型”训练策略通过让模型接触同一分子的多种SMILES形式，提升了表征质量。
• 与标准SMILES标记化相比，子结构级别的预训练显著提升了模型的泛化能力与鲁棒性。