[论文解读] Molecular Representation Learning via Heterogeneous Motif Graph Neural Networks

Zhaoning Yu, Hongyang Gao|arXiv (Cornell University)|Feb 1, 2022

Machine Learning in Materials Science被引用 14

一句话总结

该论文提出异质基元图神经网络（HM-GNN），通过构建包含基元和分子节点的异质图，实现基元级别的消息传递与多任务学习，从而提升分子图表示学习效果。该方法在图分类任务上达到最先进性能，并通过边采样器显著降低计算成本，尤其有利于小分子数据集。

ABSTRACT

We consider feature representation learning problem of molecular graphs. Graph Neural Networks have been widely used in feature representation learning of molecular graphs. However, most existing methods deal with molecular graphs individually while neglecting their connections, such as motif-level relationships. We propose a novel molecular graph representation learning method by constructing a heterogeneous motif graph to address this issue. In particular, we build a heterogeneous motif graph that contains motif nodes and molecular nodes. Each motif node corresponds to a motif extracted from molecules. Then, we propose a Heterogeneous Motif Graph Neural Network (HM-GNN) to learn feature representations for each node in the heterogeneous motif graph. Our heterogeneous motif graph also enables effective multi-task learning, especially for small molecular datasets. To address the potential efficiency issue, we propose to use an edge sampler, which can significantly reduce computational resources usage. The experimental results show that our model consistently outperforms previous state-of-the-art models. Under multi-task settings, the promising performances of our methods on combined datasets shed light on a new learning paradigm for small molecular datasets. Finally, we show that our model achieves similar performances with significantly less computational resources by using our edge sampler.

研究动机与目标

• 为解决现有GNN在捕捉分子图中基元级别关系方面的局限性。
• 通过共享基元连接分子之间的关系，改进分子图表示学习。
• 实现有效的多任务学习，尤其针对小分子数据集。
• 在保持高性能的同时降低GNN训练的计算成本。

提出的方法

• 利用TF-IDF从分子图中提取并过滤键和环，构建基元词汇表，以优先选择信息量高的基元。
• 构建包含基元节点和分子节点的异质基元图，其中边表示基元在分子中的存在。
• 若基元在任意分子中共享原子，则连接基元节点，实现基元-基元交互与跨分子信息交换。
• 训练异质基元图神经网络（HM-GNN），通过消息传递学习基元与分子节点之间的联合表示。
• 使用独立的GNN从原始分子图中学习原子级别表示，实现多层级特征融合。
• 应用边采样器在训练过程中降低计算成本，显著减少资源使用量而不损失性能。

实验结果

研究问题

• RQ1 在分子图中建模基元级别关系是否能提升分子表示学习效果？
• RQ2 引入基元级别消息传递对图分类任务的性能有何影响？
• RQ3 所提出的异质基元图能否支持有效的多任务学习，尤其是在小分子数据集上？
• RQ4 边采样器在多大程度上可降低计算成本，同时保持模型性能？

主要发现

• HM-GNN模型在多个图分类基准测试中持续优于先前最先进GNN模型。
• 在组合数据集上表现优异，展现出对小分子数据集的强大多任务学习能力。
• 边采样器显著降低计算资源使用量，同时保持相近的模型性能。
• 基于TF-IDF的基元过滤通过去除低信息量基元提升了模型鲁棒性，并改善了表示质量。
• 原子级别与基元级别表示的联合学习生成了更具表现力的分子嵌入。
• 异质基元图通过共享基元连接实现了有效的跨分子信息交换。