[论文解读] Deeply learning molecular structure-property relationships using graph attention neural network.

Seongok Ryu, Jaechang Lim+1 more|arXiv (Cornell University)|May 28, 2018

Machine Learning in Materials Science参考文献 46被引用 10

一句话总结

该论文提出了一种带有门控跳跃连接的图注意力神经网络，通过学习环境感知的原子表征和自适应特征优化，以提升分子性质预测性能。该模型在预测溶解度、极性、合成可及性和光伏效率方面优于原始GCN模型，并识别出给电子/受电子轨道区域为高光伏效率的关键结构特征，从而实现在潜在空间中对相似分子进行准确聚类。

ABSTRACT

Molecular structure-property relationships are key to molecular engineering for materials and drug discovery. The rise of deep learning offers a new viable solution to elucidate the structure-property relationships directly from chemical data. Here we show that the performance of graph convolutional networks (GCNs) for the prediction of molecular properties can be improved by incorporating attention and gate mechanisms. The attention mechanism enables a GCN to identify atoms in different environments. The gated skip-connection further improves the GCN by updating feature maps at an appropriate rate. We demonstrate that the resulting attention- and gate-augmented GCN could extract better structural features related to a target molecular property such as solubility, polarity, synthetic accessibility and photovoltaic efficiency compared to the vanilla GCN. More interestingly, it identified two distinct parts of molecules as essential structural features for high photovoltaic efficiency, and each of them coincided with the areas of donor and acceptor orbitals for charge-transfer excitations, respectively. As a result, the new model could accurately predict molecular properties and place molecules with similar properties close to each other in a well-trained latent space, which is critical for successful molecular engineering.

研究动机与目标

• 通过引入注意力和门控机制，提升图卷积网络在分子性质预测中的性能。
• 识别有机分子中影响高光伏效率的关键结构特征。
• 在训练良好的潜在空间中，实现对具有相似性质分子的准确聚类，以支持分子工程设计。
• 学习能够捕捉复杂结构-性质关系的环境感知原子表征。

提出的方法

• 将注意力机制集成到图卷积网络中，使原子能够根据其化学环境关注邻近原子。
• 应用门控跳跃连接以控制特征更新的流动，并通过学习最优更新速率来稳定训练过程。
• 在分子图上端到端训练模型，以预测溶解度、极性、合成可及性和光伏效率等性质。
• 使用节点级别的注意力机制来加权邻近原子的贡献，突出化学相关的相互作用。
• 利用训练后模型的潜在空间对具有相似性质的分子进行聚类。
• 采用消息传递框架，其中注意力权重通过从节点特征派生的查询、键和值向量计算得出。

实验结果

研究问题

• RQ1 注意力机制是否能提升GCN在分子图中捕捉环境特异性原子表征的能力？
• RQ2 门控跳跃连接的引入如何增强基于GCN的分子性质预测性能与训练稳定性？
• RQ3 哪些结构特征最能预测有机分子中的高光伏效率？
• RQ4 该模型的潜在空间是否能有效将具有相似性质的分子分组，以支持后续分子设计？
• RQ5 注意力权重是否突出了与已知电子特性（如给电子和受电子轨道）相对应的分子区域？

主要发现

• 经注意力与门控机制增强的GCN在预测溶解度、极性、合成可及性和光伏效率方面优于原始GCN模型。
• 该模型识别出两个不同的分子区域为高光伏效率所必需，分别对应于电荷转移激发的给电子和受电子轨道。
• 模型学习到的潜在空间将具有相似性质的分子聚集在相近位置，实现了有效的分子聚类。
• 注意力机制使模型能够聚焦于处于不同化学环境中的原子，从而改善特征表征。
• 门控跳跃连接促进了更稳定和高效的特征传播，从而提升了整体预测性能。