[论文解读] Heterogeneous Molecular Graph Neural Networks for Predicting Molecule Properties

Zeren Shui, George Karypis|arXiv (Cornell University)|Sep 26, 2020

Machine Learning in Materials Science参考文献 33被引用 14

一句话总结

该论文提出异构分子图神经网络（HMGNN），一种新颖的图神经网络（GNN）框架，通过使用异构分子图（HMG）表示法，以不同阶次的节点（1体、2体等）建模分子中的多体相互作用。通过引入跨阶次消息传递、全局分子表征以及基于注意力的多任务学习融合机制，HMGNN在QM9数据集的12项分子性质预测任务中，有9项达到最先进性能，明确捕捉了超越成对原子相互作用的高阶相互作用。

ABSTRACT

As they carry great potential for modeling complex interactions, graph neural network (GNN)-based methods have been widely used to predict quantum mechanical properties of molecules. Most of the existing methods treat molecules as molecular graphs in which atoms are modeled as nodes. They characterize each atom's chemical environment by modeling its pairwise interactions with other atoms in the molecule. Although these methods achieve a great success, limited amount of works explicitly take many-body interactions, i.e., interactions between three and more atoms, into consideration. In this paper, we introduce a novel graph representation of molecules, heterogeneous molecular graph (HMG) in which nodes and edges are of various types, to model many-body interactions. HMGs have the potential to carry complex geometric information. To leverage the rich information stored in HMGs for chemical prediction problems, we build heterogeneous molecular graph neural networks (HMGNN) on the basis of a neural message passing scheme. HMGNN incorporates global molecule representations and an attention mechanism into the prediction process. The predictions of HMGNN are invariant to translation and rotation of atom coordinates, and permutation of atom indices. Our model achieves state-of-the-art performance in 9 out of 12 tasks on the QM9 dataset.

研究动机与目标

• 为解决现有GNN在建模分子中三体及以上原子相互作用（3+原子）方面的局限性，此类相互作用对精确的量子力学性质预测至关重要。
• 开发一种新的分子图表示方法，显式编码多体项（如键角、二面角）及几何信息。
• 设计一种利用异构图结构进行多阶相互作用建模与全局性质预测的GNN架构。
• 通过整合全局分子表征与多阶预测的注意力融合机制，提升模型泛化能力与预测准确性。
• 验证多任务学习与跨阶次消息传递在提升模型性能方面的有效性。

提出的方法

• 提出一种异构分子图（HMG），其中节点代表1体（原子）、2体（原子对）及更高阶组，不同类型的边编码相互作用。
• 设计一种消息传递机制，支持不同阶次节点之间的信息交换（跨阶次消息传递），实现分层表征学习。
• 引入一种多任务学习损失，联合优化各阶多体项的预测与最终融合预测，强制符合多体展开的约束。
• 采用注意力机制，利用全局分子表征融合来自不同多体阶次的预测结果，生成最终输出。
• 通过HMG的几何与结构设计及消息传递规则，确保对平移、旋转及原子排列的不变性。
• 使用可学习的注意力头，动态加权1体与2体预测的贡献，基于其与目标性质的相关性。

实验结果

研究问题

• RQ1 异构图表示能否有效建模分子中超越成对原子相互作用的多体相互作用（3个及以上原子）？
• RQ2 在1体与2体节点之间引入跨阶次消息传递是否能提升分子性质预测的准确性？
• RQ3 一种对多体阶次间预测进行正则化的多任务学习目标，能否增强模型泛化能力与性能？
• RQ4 融合模块中的注意力权重如何反映不同分子性质下1体与2体贡献的相对重要性？
• RQ5 与仅建模原子与键的标准GNN相比，显式建模2体相互作用（如键角）能在多大程度上提升性能？

主要发现

• HMGNN在QM9数据集的12项分子性质预测任务中，有9项达到最先进性能，优于现有基于GNN的模型。
• 消融实验表明，若移除多任务学习损失，性能显著下降，1体预测的均方误差（RMSE）从HMGNN的5.92上升至8.22（以$U_0$为例）。
• 移除跨阶次消息传递会降低性能，尤其在$C_v$上，RMSE从0.0233上升至0.0244，表明跨阶次信息流动的重要性。
• 若移除高阶建模（2体），性能甚至劣于多任务学习的消融实验，表明2体相互作用对精度至关重要。
• 融合模块中的注意力权重显示，1体贡献在多数性质中占主导地位（如$U_0$、$C_v$），但2体预测也获得显著注意力，与多体展开的收敛性一致。
• 注意力权重稳定且具有意义，1体注意力分数在不同性质间介于0.4至0.8之间，表明模型能学习到对相关多体项的优先排序。