[論文レビュー] Evaluating Self-Supervised Learning for Molecular Graph Embeddings

Hanchen Wang, Jean Kaddour+4 more|arXiv (Cornell University)|Jun 16, 2022

Computational Drug Discovery Methods被引用数 7

ひとこと要約

本稿では、グラフのトポロジー、分子のサブ構造、埋め込み空間の性質の3つの側面にわたる多様なプローブタスクを用いて自己教師付き分子グラフ埋め込みを評価する包括的なベンチマーク、MolGraphEvalを紹介する。標準的な下流評価とより深いプローブ評価の間の不一致を明らかにし、対照的学習手法が性質予測タスクでは優れているが、必ずしもサブ構造やトポロジー関連タスクで優れているわけではないこと、また特徴の均一性が性能を常に予測するわけではないことを示している。

ABSTRACT

Graph Self-Supervised Learning (GSSL) provides a robust pathway for acquiring embeddings without expert labelling, a capability that carries profound implications for molecular graphs due to the staggering number of potential molecules and the high cost of obtaining labels. However, GSSL methods are designed not for optimisation within a specific domain but rather for transferability across a variety of downstream tasks. This broad applicability complicates their evaluation. Addressing this challenge, we present "Molecular Graph Representation Evaluation" (MOLGRAPHEVAL), generating detailed profiles of molecular graph embeddings with interpretable and diversified attributes. MOLGRAPHEVAL offers a suite of probing tasks grouped into three categories: (i) generic graph, (ii) molecular substructure, and (iii) embedding space properties. By leveraging MOLGRAPHEVAL to benchmark existing GSSL methods against both current downstream datasets and our suite of tasks, we uncover significant inconsistencies between inferences drawn solely from existing datasets and those derived from more nuanced probing. These findings suggest that current evaluation methodologies fail to capture the entirety of the landscape.

研究の動機と目的

• 自己教師付き分子グラフ学習（GSSL）手法のための標準的で解釈可能な評価の欠如に対処すること。
• 現在の評価手法が下流の分子性質予測（MPP）タスクにのみ依存しているという限界を特定すること。
• MPP性能を超えた多様な埋め込みの特性を捉える包括的なプローブフレームワークの開発。
• 1,875の事前学習済みGNNと90,918のプローブモデルをカバーする統一ベンチマークを用いて、偏りのない多面的評価を可能にすること。
• 標準的なMPPベースの評価とより深いプローブ評価との間の乖離を明らかにし、GSSL手法が万能ではなく、特定の構造的性質では劣ることがあることを強調すること。

提案手法

• 3つのプローブタスクのカテゴリ（一般グラフ性質、分子サブ構造認識、埋め込み空間特性）を用いて事前学習済み分子グラフ埋め込みを評価するベンチマークフレームワーク、MolGraphEvalを提案。
• 200万個のZINC15を用いて9種類のGSSL手法（例：GraphCL、InfoGraph、GraphMAE）で事前学習された1,875のGNNの固定埋め込みを用い、プローブモデルを訓練。
• 次数分布、クラスタ係数、直径、相関性といったトポロジカル特徴のプローブタスクを設計し、MSEまたは交差エントロピーを用いて性能を評価。
• 下流のMPPデータセット（BBBP、Tox21など）で線形プローブモデルを用いて転移性能を評価し、ファインチューニング結果と比較。
• プローブ性能と下流MPPスコアの関係を評価するために、相関係数やp値を用いた統計的分析を実施。
• GraphMAE や GRCL といった最新の手法を含めるようにベンチマークを拡張し、200万個のZINC15などの大規模データセットでも検証を実施。

実験結果

リサーチクエスチョン

• RQ1 GSSL手法は、下流の分子性質予測に加えて、グラフのトポロジーとサブ構造特徴をターゲットにしたプローブタスクでもどの程度の性能を示すのか？
• RQ2 より洗練されたプローブ評価と比較して、標準的なMPPベンチマークがGSSL手法の評価をどの程度誤解を招いているのか？
• RQ3 一般的に良い表現を示すとされる特徴分布の均一性は、下流のMPP性能と相関するのか？
• RQ4 対照的GSSL手法は、生成的またはマスキング自己符号化手法と比較して、さまざまな種類のプローブタスクにおいて普遍的に優れているのか？
• RQ5 事前学習ハイパーパrameterのチューニングは、事前学習目的が最適でない場合でも、性能を著しく向上させ得るのか？

主な発見

• GraphCL などの対照的GSSL手法は、下流のMPP性能が最も高く（例：平均で65.07 AUC）、しかし、サブ構造やトポロジカル性質の検出といったプローブタスクでは必ずしも優れた性能を示すわけではない。
• ランダムに初期化されたGNNが、グラフの直径や接続性といったトポロジカル特徴において、一部のGSSL手法を上回る性能を示しており、GSSLがすべての構造的属性に対して常に有益であるとは限らないことを示している。
• 相互情報量を最大化し、特徴分布が最も均一になるように設計されたInfoGraphは、MPPタスクにおいて9つのGSSL手法のうちわずか7位に留まり、均一性が性能を示すと仮定する考え方が疑わしいことを示している。
• ファインチューニングは、線形プローブと比較して、事前学習モデルの下流MPP性能を一貫して向上させており、ファインチューニングと線形プローブの最適な事前学習設定は異なることが分かった。
• MPP性能とプローブタスク性能の間には弱い相関（例：次数のr=0.842、p=0.002）が認められ、MPPスコアだけでは包括的な評価が不十分であることが示された。
• 事前学習ハイパーパrameterの最適化が性能を著しく向上させることから、モデル設計と学習設定の選定が、事前学習目的の選定と同等に重要であることが示された。