[論文レビュー] Molecular Representation Learning via Heterogeneous Motif Graph Neural Networks

Zhaoning Yu, Hongyang Gao|arXiv (Cornell University)|Feb 1, 2022

Machine Learning in Materials Science被引用数 14

ひとこと要約

本稿では、モチーフと分子ノードを用いた非均質的グラフを構築することで、モチーフレベルのメッセージパッシングとマルチタスク学習を可能にする、異種モチーフグラフニューラルネットワーク（HM-GNN）を提案する。この手法は、グラフ分類タスクにおいて最先端の性能を達成し、特に小さな分子データセットにおいて顕著に計算コストを削減するエッジサンプラーを用いる。

ABSTRACT

We consider feature representation learning problem of molecular graphs. Graph Neural Networks have been widely used in feature representation learning of molecular graphs. However, most existing methods deal with molecular graphs individually while neglecting their connections, such as motif-level relationships. We propose a novel molecular graph representation learning method by constructing a heterogeneous motif graph to address this issue. In particular, we build a heterogeneous motif graph that contains motif nodes and molecular nodes. Each motif node corresponds to a motif extracted from molecules. Then, we propose a Heterogeneous Motif Graph Neural Network (HM-GNN) to learn feature representations for each node in the heterogeneous motif graph. Our heterogeneous motif graph also enables effective multi-task learning, especially for small molecular datasets. To address the potential efficiency issue, we propose to use an edge sampler, which can significantly reduce computational resources usage. The experimental results show that our model consistently outperforms previous state-of-the-art models. Under multi-task settings, the promising performances of our methods on combined datasets shed light on a new learning paradigm for small molecular datasets. Finally, we show that our model achieves similar performances with significantly less computational resources by using our edge sampler.

研究の動機と目的

• 既存のGNNが分子グラフ全体におけるモチーフレベルの関係を捉えることの制限を解消すること。
• 共有モチーフを通じて分子間の関係をモデル化することで、分子グラフ表現学習を向上させること。
• 特に小さな分子データセットにおいて、効果的なマルチタスク学習を可能にすること。
• 高い性能を維持しつつ、GNNの学習における計算コストを低減すること。

提案手法

• TF-IDFを用いて、分子グラフから抽出・フィルタリングした結合と環を基にモチーフ語彙を構築する。
• モチーフノードと分子ノードを含む非均質的モチーフグラフを構築し、エッジはモチーフが分子に存在することを表す。
• ある分子内で原子を共有するモチーフノード同士を接続し、モチーフ間相互作用と分子間情報交換を可能にする。
• メッセージパッシングを用いて、モチーフノードと分子ノードの両方のノードの統合表現を学習する非均質的モチーフグラフニューラルネットワーク（HM-GNN）を訓練する。
• 元の分子グラフからアトムレベルの表現を学ぶ別個のGNNを適用し、マルチレベル特徴抽出を実現する。
• トレーニング中の計算コストを低減するためエッジサンプラーを適用し、パフォーマンスを損なわずにリソース使用量を顕著に削減する。

実験結果

リサーチクエスチョン

• RQ1 分子グラフ全体にわたるモチーフレベルの関係をモデル化することで、分子表現学習が向上するか？
• RQ2 モチーフレベルのメッセージパッシングを組み込むと、グラフ分類タスクにおける性能にどのような影響を与えるか？
• RQ3 提案された非均質的モチーフグラフは、特に小さな分子データセットにおいて、効果的なマルチタスク学習を可能にするか？
• RQ4 エッジサンプラーは、モデル性能を保持しつつ、どの程度計算コストを低減できるか？

主な発見

• HM-GNNモデルは、複数のグラフ分類ベンチマークで、以前の最先端GNNモデルを常に上回る性能を示した。
• 統合データセットにおいて優れた性能を達成し、特に小さな分子データセットにおける強力なマルチタスク学習能力を示した。
• エッジサンプラーにより、計算リソース使用量が顕著に削減されたが、モデル性能はほぼ同等を維持した。
• TF-IDFに基づくモチーフフィルタリングにより、情報量の少ないモチーフが除去され、表現品質が向上し、モデルのロバスト性が向上した。
• アトムレベルとモチーフレベルの表現を併せて学習することで、より表現力の高い分子埋め込みが得られた。
• 非均質的モチーフグラフにより、共有モチーフ接続を通じて効果的な分子間情報交換が実現された。