[论文解读] Keeping it Simple: Language Models can learn Complex Molecular Distributions

Daniel Flam-Shepherd, Kevin Zhu+1 more|arXiv (Cornell University)|Dec 6, 2021

Machine Learning in Materials Science被引用 4

一句话总结

该论文表明，简单的语言模型，尤其是使用 SELFIES 分子表示时，能够有效学习复杂的分子分布——在生成高惩罚 LogP 分子、多模态分布以及来自 PubChem 的大分子等具有挑战性的任务中，其表现优于当前最先进的基于图的生成模型。结果表明，即使在数据量较少的情况下，语言模型在有效性、唯一性和新颖性方面也表现出更优的性能。

ABSTRACT

Deep generative models of molecules have grown immensely in popularity, trained on relevant datasets, these models are used to search through chemical space. The downstream utility of generative models for the inverse design of novel functional compounds depends on their ability to learn a training distribution of molecules. The most simple example is a language model that takes the form of a recurrent neural network and generates molecules using a string representation. More sophisticated are graph generative models, which sequentially construct molecular graphs and typically achieve state of the art results. However, recent work has shown that language models are more capable than once thought, particularly in the low data regime. In this work, we investigate the capacity of simple language models to learn distributions of molecules. For this purpose, we introduce several challenging generative modeling tasks by compiling especially complex distributions of molecules. On each task, we evaluate the ability of language models as compared with two widely used graph generative models. The results demonstrate that language models are powerful generative models, capable of adeptly learning complex molecular distributions -- and yield better performance than the graph models. Language models can accurately generate: distributions of the highest scoring penalized LogP molecules in ZINC15, multi-modal molecular distributions as well as the largest molecules in PubChem.

研究动机与目标

• 评估简单语言模型学习现有生成模型难以处理的复杂分子分布的能力。
• 将基于 SMILES 和 SELFIES 表示的语言模型与当前最先进的基于图的生成模型（JTVAE 和 CGVAE）进行比较。
• 探究语言模型在图模型失效的复杂、多模态及大规模分子分布上是否具备泛化能力。
• 评估分子表示方式（SMILES 与 SELFIES）对模型性能和泛化能力的影响。
• 提供基准任务和数据集，以激发分子生成建模领域的未来研究。

提出的方法

• 构建了三个具有挑战性的生成建模任务：(1) 来自 ZINC15 的惩罚 LogP 分布，(2) 融合多种分子类型的多模态分布（GDB13、CEP、POLYMERS），以及 (3) 来自 PubChem 的大分子。
• 使用 LSTM 架构结合 dropout 和学习率优化，在 SMILES 和 SELFIES 字符串表示上训练循环神经网络（RNN）语言模型。
• 采用两种标准的基于图的生成模型：JTVAE 和 CGVAE，在相同任务上进行训练以实现直接比较。
• 通过在 100 种配置上进行随机搜索，对每种模型的超参数进行优化以提升性能。
• 使用标准指标评估模型：有效性、唯一性、新颖性以及与训练数据分布的 Wasserstein 距离。
• 采用 SELFIES，一种语法合规的分子字符串表示方法，确保所有生成的字符串在生成时即为化学有效结构。

实验结果

研究问题

• RQ1 简单的语言模型能否学习到当前最先进的基于图的模型难以处理的复杂分子分布？
• RQ2 分子表示方式的选择（SMILES 与 SELFIES）如何影响语言模型在分子生成中的性能与泛化能力？
• RQ3 语言模型在生成多模态或高分子量分子分布时是否优于基于图的模型？
• RQ4 语言模型在多大程度上记忆训练数据，而非泛化到未见过的有效分子？
• RQ5 语言模型能否有效学习具有细微能量/性质差异的分布，例如惩罚 LogP 分数？

主要发现

• 在所有任务中，基于 SELFIES 训练的语言模型均优于基于 SMILES 的模型，尤其在大规模任务中表现更优，展现出更高的有效性、唯一性和新颖性。
• 基于 SMILES 的 RNN 与训练数据分布的 Wasserstein 距离较高，表明存在显著的记忆现象；而基于 SELFIES 的 RNN 尽管 Wasserstein 指标略差，但表现出更好的泛化能力。
• 基于图的模型（JTVAE 和 CGVAE）在惩罚 LogP 任务中未能学习到主要分布模式，且无法在 PubChem 中最大分子上进行训练。
• JTVAE 在多分布任务中表现不佳，原因在于其需要学习包含仅含环和无环分子在内的多种树结构。
• CGVAE 在多分布任务中失败，原因在于其在训练期间仅采样单一生成轨迹，难以学习多样化生成路径。
• 语言模型成功地从所有三种复杂分布中生成了分子，包括最高得分的惩罚 LogP 分子和最大的 PubChem 分子，展现出强大的泛化能力。