[论文解读] Graph Transformation Policy Network for Chemical Reaction Prediction

Kien Do, Truyen Tran+1 more|arXiv (Cornell University)|Dec 22, 2018

Machine Learning in Materials Science参考文献 23被引用 11

一句话总结

该论文提出图变换策略网络（GTPN），一种基于强化学习的方法，将化学反应预测建模为使用图神经网络（GNNs）和策略学习的图变换序列。GTPN通过端到端学习，在无需依赖手工设计的反应规则或固定变换顺序的情况下，在USPTO数据集上实现了83.20%的最先进（SOTA）top-1准确率。

ABSTRACT

We address a fundamental problem in chemistry known as chemical reaction product prediction. Our main insight is that the input reactant and reagent molecules can be jointly represented as a graph, and the process of generating product molecules from reactant molecules can be formulated as a sequence of graph transformations. To this end, we propose Graph Transformation Policy Network (GTPN) -- a novel generic method that combines the strengths of graph neural networks and reinforcement learning to learn the reactions directly from data with minimal chemical knowledge. Compared to previous methods, GTPN has some appealing properties such as: end-to-end learning, and making no assumption about the length or the order of graph transformations. In order to guide model search through the complex discrete space of sets of bond changes effectively, we extend the standard policy gradient loss by adding useful constraints. Evaluation results show that GTPN improves the top-1 accuracy over the current state-of-the-art method by about 3% on the large USPTO dataset. Our model's performances and prediction errors are also analyzed carefully in the paper.

研究动机与目标

• 解决在不依赖手工设计或启发式提取的反应规则的情况下，预测化学反应产物的挑战。
• 将反应预测建模为分子图上的键变化操作序列，将其视为结构推理问题。
• 通过联合优化图表示和变换策略，实现反应机理的端到端学习。
• 实现对可变长度键变化序列的灵活、无序预测，从而提高对未见反应的泛化能力。
• 通过生成显式的反应三元组（原子对和新键类型）序列，提供可解释的反应路径。

提出的方法

• 将反应物和试剂分子表示为一个带有标签节点和边的联合分子图。
• 使用图神经网络（GNN）在变换过程的每一步编码分子图的当前状态。
• 采用节点对预测网络（NPPN）和策略网络（PN）预测一个反应三元组（u,v,b）——即原子对（u,v）和新键类型b——用于潜在的变换。
• 使用优势行动-评论者（A2C）强化学习训练策略网络，其中智能体选择动作（键变化）以将图转化为正确产物。
• 通过在标准策略梯度损失中引入约束，提升训练的稳定性和鲁棒性，以促进对预测反应三元组中微小扰动的多样性与抗性。
• 迭代应用键变化于分子图，直到预测到停止动作，从而生成最终产物结构。

实验结果

研究问题

• RQ1 深度学习模型能否直接从分子图预测化学反应产物，而无需依赖预定义的反应模板或规则？
• RQ2 如何有效将强化学习应用于分子图变换的离散、不可微空间？
• RQ3 当在原始分子结构上进行端到端训练时，模型在多大程度上能泛化到未见的反应类型？
• RQ4 对策略梯度损失施加何种约束可提升预测反应路径的鲁棒性和多样性？
• RQ5 模型能否生成与已知化学原理一致的、可解释的、分步的反应机理？

主要发现

• GTPN在USPTO数据集上达到83.20%的top-1准确率，在USPTO-15k数据集上达到82.39%，比之前最先进方法高出约3%。
• 与先前方法相比，该模型显著降低了预测误差，尤其在处理复杂多样的反应类型方面表现更优。
• 由于采用端到端、无规则的训练范式，GTPN能从数据中直接学习反应模式，因此对未见反应具有良好的泛化能力。
• 在策略梯度损失中引入自定义约束，提升了训练稳定性，并生成了更鲁棒、更多样化的反应路径预测。
• 通过显式生成反应三元组序列，模型提供了可解释的反应机理，揭示了产物形成的过程。
• GTPN是首个将GNN与强化学习统一于端到端框架中用于反应预测的方法，且无需假设固定的变换顺序或长度。