[论文解读] Ligandformer: A Graph Neural Network for Predicting Compound Property with Robust Interpretation

Jinjiang Guo, Qi Liu+2 more|arXiv (Cornell University)|Feb 21, 2022

Computational Drug Discovery Methods被引用 7

一句话总结

Ligandformer 是一种多层自注意力图神经网络，能够通过突出显示结构相关的分子片段，生成稳健且可解释的注意力图，以预测化合物性质。其在准确率（AUROC 最高达 0.98）方面优于 SAMPN 和 MPNN，并通过在各网络块间整合注意力系数，确保了训练轮次间的预测稳定性。

ABSTRACT

Robust and efficient interpretation of QSAR methods is quite useful to validate AI prediction rationales with subjective opinion (chemist or biologist expertise), understand sophisticated chemical or biological process mechanisms, and provide heuristic ideas for structure optimization in pharmaceutical industry. For this purpose, we construct a multi-layer self-attention based Graph Neural Network framework, namely Ligandformer, for predicting compound property with interpretation. Ligandformer integrates attention maps on compound structure from different network blocks. The integrated attention map reflects the machine's local interest on compound structure, and indicates the relationship between predicted compound property and its structure. This work mainly contributes to three aspects: 1. Ligandformer directly opens the black-box of deep learning methods, providing local prediction rationales on chemical structures. 2. Ligandformer gives robust prediction in different experimental rounds, overcoming the ubiquitous prediction instability of deep learning methods. 3. Ligandformer can be generalized to predict different chemical or biological properties with high performance. Furthermore, Ligandformer can simultaneously output specific property score and visible attention map on structure, which can support researchers to investigate chemical or biological property and optimize structure efficiently. Our framework outperforms over counterparts in terms of accuracy, robustness and generalization, and can be applied in complex system study.

研究动机与目标

• 为解决深度学习模型在 QSAR 中的黑箱问题，实现对分子结构的可解释性、局部预测推理。
• 提升模型在不同训练轮次间的预测鲁棒性，克服深度学习模型常见的不稳定性问题。
• 开发一种可泛化的框架，能够以高性能预测多种化学和生物性质。
• 通过在多个网络块间整合注意力机制，生成反映模型对分子亚结构关注程度的稳定且可解释的注意力图。

提出的方法

• Ligandformer 使用包含 7 种原子属性的双向 2D 分子图表示作为初始节点特征。
• 采用基于查询、键和值变换的多层自注意力机制，学习原子之间的注意力分数。
• 每个块的注意力图通过点积注意力的 softmax 计算：$ Y_h = \text{softmax}(Q_h K_h^T) V_h $。
• 将所有块的注意力系数取平均，生成集成注意力图，从而提升鲁棒性和可解释性。
• 模型使用 Adam 优化器，初始学习率为 0.001，权重衰减为 0.0001，并在 AUROC 连续 50 轮无提升后启用早停。
• SMILES 字符串通过 RDKit 转换为分子图，并经由 DeepChem/Chemprop 流水线处理，以确保输入表示的一致性。

实验结果

研究问题

• RQ1 基于图神经网络的模型能否提供稳定且可解释的注意力图，以突出显示影响性质预测的特定分子亚结构？
• RQ2 与单模型或非集成注意力方法相比，通过在多个网络块间集成注意力系数，能否显著提升预测鲁棒性？
• RQ3 Ligandformer 在预测多种化学和生物性质时，其泛化能力在高准确率和可解释性方面能达到何种程度？
• RQ4 Ligandformer 生成的注意力图是否能与专家的化学直觉对齐，从而在药物发现中实现基于结构的优化？

主要发现

• 在水溶性预测任务中，Ligandformer 的 AUROC 达到 0.98，优于 MPNN（0.93）和 SAMPN（0.92）。
• 在 Caco-2 细胞渗透性预测中，Ligandformer 维持了 0.89 的 AUROC，与 SAMPN 相当，但优于 MPNN（0.89）。
• 在 Ames 致突变性预测中，Ligandformer 的 AUROC 达到 0.92，优于 MPNN（0.90）和 SAMPN（0.91）。
• 尽管初始权重随机化不同，Ligandformer 在两次训练轮次中生成的集成注意力图保持一致，证明了其鲁棒性。
• 注意力图的可视化显示，深层块突出显示更大的分子片段，而浅层块则聚焦于单个原子或局部功能基团。
• 与非集成注意力机制相比，多尺度注意力系数的集成显著提升了模型的稳定性和可解释性。