[论文解读] Spatial Graph Attention and Curiosity-driven Policy for Antiviral Drug Discovery

Yulun Wu, Mikaela Cashman+14 more|arXiv (Cornell University)|Jun 4, 2021

Computational Drug Discovery Methods参考文献 58被引用 8

一句话总结

本文提出了一种蒸馏图注意力策略网络（DGAPN），一种强化学习框架，通过结合空间图注意力机制与好奇心驱动的探索，生成新颖且合成可行的抗病毒药物分子。该方法在优化分子与SARS-CoV-2 NSP15的结合亲和力方面达到最先进性能，优于现有方法，同时保持较低的合成复杂度。

ABSTRACT

We developed Distilled Graph Attention Policy Network (DGAPN), a reinforcement learning model to generate novel graph-structured chemical representations that optimize user-defined objectives by efficiently navigating a physically constrained domain. The framework is examined on the task of generating molecules that are designed to bind, noncovalently, to functional sites of SARS-CoV-2 proteins. We present a spatial Graph Attention (sGAT) mechanism that leverages self-attention over both node and edge attributes as well as encoding the spatial structure -- this capability is of considerable interest in synthetic biology and drug discovery. An attentional policy network is introduced to learn the decision rules for a dynamic, fragment-based chemical environment, and state-of-the-art policy gradient techniques are employed to train the network with stability. Exploration is driven by the stochasticity of the action space design and the innovation reward bonuses learned and proposed by random network distillation. In experiments, our framework achieved outstanding results compared to state-of-the-art algorithms, while reducing the complexity of paths to chemical synthesis.

研究动机与目标

• 开发一种自动化、高效的新型分子生成框架，用于靶向抗病毒药物发现中的特定蛋白质结合位点。
• 解决在庞大且离散的化学空间中导航的挑战，同时保持分子的有效性与物理约束。
• 通过随机网络蒸馏技术整合好奇心驱动奖励，提升强化学习中的探索能力。
• 通过采用基于片段的动作空间而非逐原子生成，降低生成分子的合成复杂度。
• 优化多目标分子设计，在结合亲和力、合成可及性与类药物性之间实现平衡。

提出的方法

• 提出一种空间图注意力机制（sGAT），通过节点中心的消息传递机制，编码节点和边的属性以及空间结构。
• 采用基于策略梯度的强化学习智能体，在动态的、基于片段的化学动作空间上操作，以生成化学上有效的分子。
• 利用随机网络蒸馏学习内在好奇心奖励，增强稀疏奖励环境下的探索能力。
• 采用混合图神经网络架构，整合邻接关系、属性与空间结构编码，无需依赖显式的3D坐标。
• 使用最先进的策略梯度技术训练策略网络，并通过蒸馏奖励信号提升训练稳定性。
• 实施多目标奖励函数，结合分子对接得分、QED与合成可及性（SA），以引导分子生成。

实验结果

研究问题

• RQ1 是否能够通过编码空间结构与边属性的图注意力机制，提升强化学习中的分子生成性能？
• RQ2 通过随机网络蒸馏实现的好奇心驱动探索，在化学空间中如何提升样本效率与多样性？
• RQ3 基于片段的动作空间是否能在保持高结合亲和力的同时降低生成分子的合成复杂度？
• RQ4 所提出的DGAPN框架在生成与SARS-CoV-2 NSP15具有高对接得分分子方面，相较于现有最先进方法，优势有多大？
• RQ5 多目标优化在生成化合物中，能否有效平衡结合亲和力、类药物性与合成可及性？

主要发现

• DGAPN在SARS-CoV-2 NSP15结合亲和力的分子对接得分方面达到最先进水平，优于包括REINVENT、JTVAE、GCPN、MolDQN与MARS在内的先前方法。
• 在多目标优化下，排名前三的生成分子表现出优异的对接得分（超过基线比较中最佳分子的90%），且QED与SA值表现良好。
• 通过基于片段的组装方式，框架显著降低了合成复杂度，实现了更可行、更高效的合成路径。
• 好奇心驱动探索显著提升了样本效率与多样性，表现为化学空间覆盖更广，且训练过程中奖励方差更高。
• 观察到对接亲和力与类药物性（QED/SA）之间存在权衡，证实了模型在平衡相互竞争目标方面的能力。
• 空间图注意力机制有效编码了结构与化学信息，相较于缺乏空间编码的模型，显著提升了分子生成质量。