[論文レビュー] MoCL: Contrastive Learning on Molecular Graphs with Multi-level Domain Knowledge

Mengying Sun, Jing Xing+3 more|arXiv (Cornell University)|Jun 5, 2021

Machine Learning in Materials Science被引用数 5

ひとこと要約

MoCLは、局所レベルのガイドラインによる意味保持のaugmentationと、グローバルレベルの類似性モデリングを統合した、分子グラフのための画期的な対照学習フレームワークを提案する。このフレームワークは二重の対照的損失を用いることで、線形および半教師あり設定の両方で、複数の分子ベンチマークデータセットにおいて最先端の性能を達成する。

ABSTRACT

Recent years have seen a rapid growth of utilizing graph neural networks (GNNs) in the biomedical domain for tackling drug-related problems. However, like any other deep architectures, GNNs are data hungry. While requiring labels in real world is often expensive, pretraining GNNs in an unsupervised manner has been actively explored. Among them, graph contrastive learning, by maximizing the mutual information between paired graph augmentations, has been shown to be effective on various downstream tasks. However, the current graph contrastive learning framework has two limitations. First, the augmentations are designed for general graphs and thus may not be suitable or powerful enough for certain domains. Second, the contrastive scheme only learns representations that are invariant to local perturbations and thus does not consider the global structure of the dataset, which may also be useful for downstream tasks. Therefore, in this paper, we study graph contrastive learning in the context of biomedical domain, where molecular graphs are present. We propose a novel framework called MoCL, which utilizes domain knowledge at both local- and global-level to assist representation learning. The local-level domain knowledge guides the augmentation process such that variation is introduced without changing graph semantics. The global-level knowledge encodes the similarity information between graphs in the entire dataset and helps to learn representations with richer semantics. The entire model is learned through a double contrast objective. We evaluate MoCL on various molecular datasets under both linear and semi-supervised settings and results show that MoCL achieves state-of-the-art performance.

研究の動機と目的

• 一般化されたグラフaugmentationの限界を解消すること。
• 局所およびグローバルレベルのドメイン固有の知識を統合することで、表現学習を向上させること。
• augmentation中に意味を保持する対照的フレームワークを設計すること。
• 局所不変性とグローバル意味的整合性を同時に最適化する二重の対照的損失を構築すること。
• 現実的な設定下で、多様な分子性質予測タスクにおけるMoCLの有効性を評価すること。

提案手法

• 局所レベルのドメイン知識を導入し、データの摂動中に意味を保持するようにグラフaugmentationをガイドする。
• グローバルレベルのドメイン知識を用いて、データセット内すべてのグラフ間のペairwise類似性をモデリングし、広範な構造的パターンを捉える。
• 同じグラフのaugmentedビュー間の一致を最大化するとともに、データセット内での類似するグラフ間の一致を同時に最大化する二重の対照的損失を設計する。
• グラフニューラルネットワークを用いて、二重の対照的損失によって最適化される潜在表現に分子グラフを符号化する。
• 下流の性能を評価するために、線形および半教師あり微調整設定の両方でフレームワークを適用する。
• 対照フェーズ中にラベル付きデータを必要としない既存の分子グラフデータを活用して、表現を事前学習する。

実験結果

リサーチクエスチョン

• RQ1 局所レベルのドメイン知識を統合することで、分子グラフ対照学習におけるグラフaugmentationの質が向上するか？
• RQ2 グローバルグラフ類似性のモデリングは、学習された表現の意味的豊かさを向上させるか？
• RQ3 二重の対照的損失は、標準的な対照学習と比較して、下流の性能で優れているか？
• RQ4 MoCLは、多様な分子グラフデータセットおよび学習設定において、どの程度一般化可能か？
• RQ5 事前学習段階でラベル付きデータを必要としない状況でも、MoCLは分子性質予測で最先端の性能を達成できるか？

主な発見

• MoCLは、線形および半教師あり学習設定の両方で、複数の分子グラフベンチマークデータセットにおいて最先端の性能を達成する。
• 局所レベルのドメイン知識の統合により、より意味的で一貫性のあるグラフaugmentationが実現される。
• グローバルレベルの類似性モデリングは、データセット内の広範な構造的関係を捉えることで、表現の質を顕著に向上させる。
• 二重の対照的損失は、局所不変性とグローバル一貫性の両方を同時に最適化することで、標準的な対照学習を上回る性能を発揮する。
• MoCLは多様な分子データセットにわたり強く一般化するため、頑健性とスケーラビリティが確認される。
• 限定的なラベル付きデータでも優れた性能を発揮するため、自己教師あり事前学習戦略の有効性が示される。