[論文レビュー] Knowledge-aware Contrastive Molecular Graph Learning

Yin Fang, Haihong Yang+4 more|arXiv (Cornell University)|Mar 24, 2021

Computational Drug Discovery Methods参考文献 19被引用数 10

ひとこと要約

本論文は、化学分野の知識（例えばフィンガープrintや機能的基団）を対照的学習を介してグラフニューラルネットワークに明示的に統合する、自己教師付き分子表現学習フレームワーク「対照的知識認識GNN（CKGNN）」を提案する。構造的に類似しているが機能的に異なる分子の判別能を向上させることで、8つのデータセットにおける分子性質予測で、強力なベースライン比で平均6%の絶対的向上を達成した。

ABSTRACT

Leveraging domain knowledge including fingerprints and functional groups in molecular representation learning is crucial for chemical property prediction and drug discovery. When modeling the relation between graph structure and molecular properties implicitly, existing works can hardly capture structural or property changes and complex structure, with much smaller atom vocabulary and highly frequent atoms. In this paper, we propose the Contrastive Knowledge-aware GNN (CKGNN) for self-supervised molecular representation learning to fuse domain knowledge into molecular graph representation. We explicitly encode domain knowledge via knowledge-aware molecular encoder under the contrastive learning framework, ensuring that the generated molecular embeddings equipped with chemical domain knowledge to distinguish molecules with similar chemical formula but dissimilar functions. Extensive experiments on 8 public datasets demonstrate the effectiveness of our model with a 6\% absolute improvement on average against strong competitors. Ablation study and further investigation also verify the best of both worlds: incorporation of chemical domain knowledge into self-supervised learning.

研究の動機と目的

• GNNが微細な化学的変化（例えば機能的基団置換）を捉える能力に限界があることに対処する。
• フィンガープrint や機能的基団などの分野知識を明示的にグラフニューラルネットワークに統合することで、分子表現学習を向上させる。
• 原子のボキャブラリーが小さく、頻度の高い原子（例：炭素）による埋め込みの曖昧さを解消する。
• 化学的知識を活用する自己教師付き事前学習を可能にし、下流タスクにおける一般化性能を向上させる。
• データまたは構造のみに依存するモデルと比較して、分野知識と対照的学習を組み合わせることで優れた性能が得られることを示す。

提案手法

• 機能的基団やフィンガープリントなどのサブグラフレベルの分野知識を明示的にノードおよびグラフ埋め込みに符号化する、知識認識型分子エンコーダを導入する。
• 構造的摂動に対して不変な表現を学ぶために、フィンガープリント類似度に基づいて分子ペアを比較する対照的学習フレームワークを採用する。
• フィンガープリントが類似する分子をグループ化する分子クラスタ戦略を用い、対照的学習用のポジティブペアを形成する。
• 化学分野の知識に従って、類似した分子の埋め込み間で一致を最大化し、類似しないペアを遠ざける対照的損失関数を設計する。
• GNNのメッセージパッシングと知識認識特徴を組み合わせることで、潜在空間における構造的および化学的情報を両立させる。
• 240万以上の分子を自己教師付きで学習させ、下流の性質予測タスクへの転移を可能にする。

実験結果

リサーチクエスチョン

• RQ1 GNNに化学分野の知識を明示的に統合することで、構造的情報のみに依存する場合よりも分子表現学習が向上するか？
• RQ2 フィンガープリントに基づくポジティブペアを用いた対照的学習は、同じ分子式だが異なる機能を示す分子を区別する能力をどのように向上させるか？
• RQ3 知識認識特徴の挿入は、炭素のような頻度の高い原子に対する埋め込みの曖昧さをどの程度軽減するか？
• RQ4 分野知識と対照的事前学習を融合させることで、大規模データや構造的学習に依存するモデルよりも優れた性能が得られるか？
• RQ5 知識認識埋め込みの明確化により、同じ分子式だが異なる機能的基団を有する異性体（機能的異性体）を効果的に区別できるか？

主な発見

• CKGNNは、強力な競合モデルと比較して、8つのベンチマークデータセットにおける分子性質予測で平均6%の絶対的向上を達成した。
• アブレーションスタディの結果、知識認識特徴や分子クラスタ戦略を削除すると顕著な性能低下が生じ、これらが重要な役割を果たしていることが確認された。
• CKGNN埋め込みの類似度分布は、分散が0.067と最大であり、GCC や事前学習済み GIN と比較して、より豊かで多様な表現を示している。
• 事例研究では、CKGNNのみが同一のサブ構造（例：カルボキシル基やベンゼン環）を持つ分子を正しく特定できたが、構造のみに依存するGNNは失敗した。
• 機能的異性体に関しては、CKGNNはGCC や事前学習済み GIN と比較して顕著に低い類似度スコア（例：0.2661および0.1180）を示し、優れた明確化能力を示した。
• 分野知識に特化したモデルや大量データに依存するモデルと比較して、CKGNNは優れた性能を発揮した。知識と自己教師付き学習の融合が最適であることを証明した。