[论文解读] Attention-Based Learning on Molecular Ensembles

Kangway V. Chuang, Michael J. Keiser|arXiv (Cornell University)|Nov 25, 2020

Machine Learning in Materials Science参考文献 24被引用 5

一句话总结

该论文提出了一种端到端的深度学习框架，利用图神经网络（GNNs）编码分子构象，并通过注意力机制将构象集合聚合为集合级表征，用于基于配体的虚拟筛选。该方法在识别关键活性构象方面实现了80.7%的top-1准确率，显著优于低能量构象基线方法（3.8%准确率），证明了基于注意力的池化方法在可解释性、几何感知的分子表征学习中的强大能力。

ABSTRACT

The three-dimensional shape and conformation of small-molecule ligands are critical for biomolecular recognition, yet encoding 3D geometry has not improved ligand-based virtual screening approaches. We describe an end-to-end deep learning approach that operates directly on small-molecule conformational ensembles and identifies key conformational poses of small-molecules. Our networks leverage two levels of representation learning: 1) individual conformers are first encoded as spatial graphs using a graph neural network, and 2) sampled conformational ensembles are represented as sets using an attention mechanism to aggregate over individual instances. We demonstrate the feasibility of this approach on a simple task based on bidentate coordination of biaryl ligands, and show how attention-based pooling can elucidate key conformational poses in tasks based on molecular geometry. This work illustrates how set-based learning approaches may be further developed for small molecule-based virtual screening.

研究动机与目标

• 为解决在基于配体的虚拟筛选中分子构象集合的表征问题，其中三维几何结构至关重要但常被忽略。
• 开发一种可微分的、端到端的深度学习模型，从分子构象集合中学习，而非单个构象。
• 利用注意力机制实现对构象集合中关键活性构象的可解释性识别。
• 证明基于注意力的池化方法在识别功能相关构象方面优于传统低能量构象选择方法。
• 为将基于集合的深度学习应用于复杂小分子性质与活性预测任务奠定基础。

提出的方法

• 每个分子构象通过图神经网络（GNN）编码为一个空间图，从三维坐标和原子类型中学习几何与化学特征。
• 将构象集合视为经过GNN嵌入的实例集合，通过注意力机制将其聚合为单一的集合级表征。
• 注意力机制为构象计算可学习的权重，使模型能够聚焦于任务中最相关的实例。
• 整个架构为端到端可微分，支持特征提取与集合聚合的联合优化，适用于分类或回归任务。
• 模型在多实例学习（MIL）设置下进行训练，仅提供集合级标签（如活性/非活性），不提供单个构象的标签。
• 注意力系数既用于预测，也用于可解释性分析，揭示驱动模型决策的关键构象。

实验结果

研究问题

• RQ1 端到端的深度学习模型是否能在无需单个构象真实标签的情况下，有效从分子构象集合中学习？
• RQ2 基于注意力的池化方法是否能优于传统方法（如选择最低能量构象）以识别关键活性构象？
• RQ3 在基于集合的模型中，注意力机制在多大程度上能识别出多样本集合中正确的、具有功能相关性的构象？
• RQ4 与二维指纹相比，通过GNN和注意力机制引入三维几何信息是否能提升基于配体的虚拟筛选中的预测性能？
• RQ5 注意力机制是否能通过突出与活性构象结构相似的构象，提供有意义的可解释性？

主要发现

• 在BIPY-MIL数据集上，GNN + 注意力模型在仅100个训练样本下达到88.6%的准确率，与使用ECFP4指纹的随机森林基线方法相当。
• 在500个训练样本下，模型准确率达到92.8%，表明在低数据场景下仍具备强大性能。
• 在识别关键活性构象时，注意力机制实现了80.7%的top-1准确率，显著优于仅3.8%准确率的最低能量构象。
• 注意力机制正确识别出二面角接近活性构象s-cis构象的构象，即使该构象并非能量最低。
• 在真实负样本情况下，注意力机制仍为几何结构最相似的构象分配高权重，表明对非活性集合具有鲁棒性。
• 注意力系数提供了可解释的洞察，显示哪些构象最为相关，在80.7%的正样本案例中与隐藏的真实情况一致。