[论文解读] A novel molecule generative model of VAE combined with Transformer for unseen structure generation

Yasuhiro Yoshikai, Tadahaya Mizuno+2 more|arXiv (Cornell University)|Feb 19, 2024

Process Optimization and Integration被引用 4

一句话总结

该论文提出了一种新颖的生成模型，将变分自编码器（VAE）与Transformer架构相结合，以生成多样化且未见过的分子结构。通过优化VAE与Transformer之间的结构和参数兼容性，该模型在生成新颖分子方面表现出色，同时能够从紧凑的约32维潜在空间中实现精确的性质预测。

ABSTRACT

Recently, molecule generation using deep learning has been actively investigated in drug discovery. In this field, Transformer and VAE are widely used as powerful models, but they are rarely used in combination due to structural and performance mismatch of them. This study proposes a model that combines these two models through structural and parameter optimization in handling diverse molecules. The proposed model shows comparable performance to existing models in generating molecules, and showed by far superior performance in generating molecules with unseen structures. Another advantage of this VAE model is that it generates molecules from latent representation, and therefore properties of molecules can be easily predicted or conditioned with it, and indeed, we show that the latent representation of the model successfully predicts molecular properties. Ablation study suggested the advantage of VAE over other generative models like language model in generating novel molecules. It also indicated that the latent representation can be shortened to ~32 dimensional variables without loss of reconstruction, suggesting the possibility of a much smaller molecular descriptor or model than existing ones. This study is expected to provide a virtual chemical library containing a wide variety of compounds for virtual screening and to enable efficient screening.

研究动机与目标

• 为解决由于结构和性能不匹配，将VAE与Transformer架构结合用于分子生成所面临的挑战。
• 开发一种统一的生成模型，能够生成多样化且未见过的分子结构。
• 通过低维潜在表示实现高效的分子性质预测。
• 探索基于VAE的模型在生成新化合物方面相对于自回归语言模型的潜力。

提出的方法

• 该模型将VAE与Transformer解码器相结合，通过优化架构和参数以实现分子生成中的兼容性。
• 学习到一个约32维的潜在空间，实现紧凑的分子表征，且无需重建损失。
• VAE将分子的SMILES编码为潜在向量，该向量由Transformer解码为新的分子结构。
• 模型在多样化分子数据集上进行端到端训练，以最大化重建效果和新颖性。
• 消融研究将VAE-Transformer模型与独立模型进行比较，以评估性能和泛化能力。
• 直接在潜在表示上执行性质预测，证明其在条件生成应用中的实用性。

实验结果

研究问题

• RQ1 VAE-Transformer混合模型是否能比现有模型更有效地生成新颖的分子结构？
• RQ2 在生成未见过的分子方面，VAE-Transformer模型的性能与自回归语言模型相比如何？
• RQ3 低维潜在空间（约32D）是否能保持分子重建保真度并实现精确的性质预测？
• RQ4 VAE组件在实现条件生成和性质预测中的贡献是什么？
• RQ5 结构和参数优化在多大程度上提升了VAE与Transformer在分子生成中的协同效应？

主要发现

• 所提出的VAE-Transformer模型在标准分子生成基准测试中实现了与现有模型相当的性能。
• 该模型在生成包含未见结构片段的分子方面表现出色，表明其具有强大的泛化能力。
• 潜在表征支持精确的分子性质预测，为条件生成应用提供了支持。
• 潜在空间可压缩至约32维而无显著重建损失，表明其作为高效分子描述符的潜力。
• 消融研究证实，基于VAE的生成方式在新颖性和结构多样性方面优于自回归语言模型。
• 该模型的潜在空间高度结构化且具有预测能力，可直接用于潜在向量的下游任务（如性质预测）。