[論文レビュー] Fragment-based Pretraining and Finetuning on Molecular Graphs

Kha-Dinh Luong, Ambuj K. Singh|arXiv (Cornell University)|Oct 5, 2023

Computational Drug Discovery Methods被引用数 4

ひとこと要約

本論文では、分子グラフの断片ベースの事前学習フレームワークであるGraphFPを提案する。この手法は、対照的学習を用いて分子と断片のGNNを同時に学習し、複数スケールの構造的情報を捉える。化学的に意味のある断片のコンパクトな語彙を抽出し、断片埋め込みとその構成原子の集約されたノード埋め込みの整合性を強制することで、8つの分子ベンチマークのうち5つで性能向上を達成し、長距離生物学的ベンチマークの結果を最低11.5%向上させる。

ABSTRACT

Property prediction on molecular graphs is an important application of Graph Neural Networks. Recently, unlabeled molecular data has become abundant, which facilitates the rapid development of self-supervised learning for GNNs in the chemical domain. In this work, we propose pretraining GNNs at the fragment level, a promising middle ground to overcome the limitations of node-level and graph-level pretraining. Borrowing techniques from recent work on principal subgraph mining, we obtain a compact vocabulary of prevalent fragments from a large pretraining dataset. From the extracted vocabulary, we introduce several fragment-based contrastive and predictive pretraining tasks. The contrastive learning task jointly pretrains two different GNNs: one on molecular graphs and the other on fragment graphs, which represents higher-order connectivity within molecules. By enforcing consistency between the fragment embedding and the aggregated embedding of the corresponding atoms from the molecular graphs, we ensure that the embeddings capture structural information at multiple resolutions. The structural information of fragment graphs is further exploited to extract auxiliary labels for graph-level predictive pretraining. We employ both the pretrained molecular-based and fragment-based GNNs for downstream prediction, thus utilizing the fragment information during finetuning. Our graph fragment-based pretraining (GraphFP) advances the performances on 5 out of 8 common molecular benchmarks and improves the performances on long-range biological benchmarks by at least 11.5%. Code is available at: https://github.com/lvkd84/GraphFP.

研究の動機と目的

• 分子性質予測のためのGNNにおけるノードレベルおよびグラフレベルの事前学習の限界を解決する。
• 二重エンコーダー枠組みを導入することで、既存の断片ベース手法における過剰な平滑化および構造的忠実性の損失の問題を克服する。
• データ拡張や3次元座標などの特権情報を利用せずに、化学的に忠実な自己教師付き事前学習戦略を開発する。
• 断片レベルの表現学習を通じて、多様な分子および長距離生物学的ベンチマークでの下流性能を向上させる。
• 主部分グラフマイニングから得られる原理的な断片語彙を用いた階層的構造表現の学習により、より良い一般化を実現する。

提案手法

• 大規模な事前学習データセットから、コンパクトで多様性があり、化学的に意味のある代表的断片の語彙を主部分グラフマイニングを用いて抽出する。
• 分子グラフ（ノードレベル）と断片グラフ（高次結合性）のそれぞれに別々のGNNを訓練し、対照的学習の目的関数を用いる。
• 分子グラフにおける断片の埋め込みとその構成原子の集約された埋め込みの整合性を強制することで、多スケール表現の整合性を図る。
• 断片グラフから得られるラベル（例：構造的性質）を用いた予測的事前学習タスクを導入し、分子GNNの理解を深める。
• 微調整段階では、事前学習済みの分子GNNと断片GNNの両方を活用し、断片レベルの構造的知識を活かす。
• 断片グラフを対照的学習の目的だけでなく、グラフレベルの予測的事前学習の補助ラベルを生成するのにも利用する。

Figure 1: Fragment-based contrastive pretraining framework. $\textsc{GNN}_{M}$ processes molecular graphs while $\textsc{GNN}_{F}$ processes fragment graphs. The fragment-based pooling function FragPool aggregates node embeddings into a combined embedding that forms a positive contrastive pair with

実験結果

リサーチクエスチョン

• RQ1 ノードレベルまたはグラフレベルの事前学習と比較して、断片レベルの事前学習は分子グラフ表現学習を改善できるか？
• RQ2 対照的学習を用いて分子GNNと断片GNNを共同で事前学習することで、多様な分子ベンチマークにおける下流性能にどのような影響を与えるか？
• RQ3 断片語彙のサイズと質は、自己教師付き事前学習の有効性にどのような影響を与えるか？
• RQ4 断片ベースの表現は、長距離生物学的性質予測タスクの性能向上に寄与できるか？
• RQ5 データ拡張や特権情報（例：3次元座標）の欠如は、学習された表現の妥当性と一般化能力にどのような影響を与えるか？

主な発見

• GraphFPは、8つの標準的な分子性質予測ベンチマークのうち5つでSOTAまたは競争力のある性能を達成する。
• ベースライン手法と比較して、長距離生物学的ベンチマークの性能を最低11.5%向上させる。
• t-SNE可視化により、断片埋め込みが高次構造的パターンを捉え、分子骨格ごとに明確にクラスタリングされていることが確認された。
• 同じ断片に属する原子の埋め込みが潜在空間内で一団に集約されていることから、プーリングされたノード表現が高次結合性を効果的に符号化していることが示された。
• 最適な点（例：3,200）を超えて断片語彙のサイズを増やすと、パラメータ数の増加と構造的忠実性の損失により性能が低下することが分かった。
• GNNアーキテクチャの選択が性能に顕著な影響を及ぼし、GINはベンチマーク全体で平均的に最高の性能を示した。

Figure 2: Fragment-based predictive pretraining. $\textsc{GNN}_{M}$ processes molecular graphs and produces graph-level embeddings used for prediction. The right upper box shows unique fragments that exist in the input molecule while the right lower box shows the ground-truth structural backbone. A