[論文レビュー] Multi-Modal Representation Learning for Molecular Property Prediction: Sequence, Graph, Geometry

Zeyu Wang, Tianyi Jiang+2 more|arXiv (Cornell University)|Jan 7, 2024

Computational Drug Discovery Methods被引用数 10

ひとこと要約

本論文は SGGRL を提案する。これは SMILES 配列、分子グラフ、幾何学を統合する多模態分子表現モデルであり、モーダリティを整列させる対照学習目的を用いて分子特性予測を改善する。

ABSTRACT

Molecular property prediction refers to the task of labeling molecules with some biochemical properties, playing a pivotal role in the drug discovery and design process. Recently, with the advancement of machine learning, deep learning-based molecular property prediction has emerged as a solution to the resource-intensive nature of traditional methods, garnering significant attention. Among them, molecular representation learning is the key factor for molecular property prediction performance. And there are lots of sequence-based, graph-based, and geometry-based methods that have been proposed. However, the majority of existing studies focus solely on one modality for learning molecular representations, failing to comprehensively capture molecular characteristics and information. In this paper, a novel multi-modal representation learning model, which integrates the sequence, graph, and geometry characteristics, is proposed for molecular property prediction, called SGGRL. Specifically, we design a fusion layer to fusion the representation of different modalities. Furthermore, to ensure consistency across modalities, SGGRL is trained to maximize the similarity of representations for the same molecule while minimizing similarity for different molecules. To verify the effectiveness of SGGRL, seven molecular datasets, and several baselines are used for evaluation and comparison. The experimental results demonstrate that SGGRL consistently outperforms the baselines in most cases. This further underscores the capability of SGGRL to comprehensively capture molecular information. Overall, the proposed SGGRL model showcases its potential to revolutionize molecular property prediction by leveraging multi-modal representation learning to extract diverse and comprehensive molecular insights. Our code is released at https://github.com/Vencent-Won/SGGRL.

研究の動機と目的

• Sequence、Graph、Geometry のいずれか1つのモダリティだけでは不十分であることを動機づける。
• SGGRL を提案し、3つのモダリティを共同学習・統合して分子特性予測を行う。
• 対照学習と統合機構を通じてモダリティ間の表現整合性を向上させる。

提案手法

• 3つのエンコーダ（Sequence、Graph、Geometry）がモダリティ別の表現を生成する。
• SMILES 配列をトランスフォーマー系エンコーダに入力する前に Bi-LSTM で前処理する。
• GlobalAttentionPool を用いて分子レベルのリードアウトを行い、学習可能な重みを持つ融合層でモダリティを統合する。
• 同一分子のモダリティ間表現を整列させ、異なる分子を分離するために NT-Xent に基づく対照的損失を組み込む。
• 教師あり予測損失（BCE/MSE）と対照的一貫性損失を結合したジョイント損失で訓練する。alpha によるバランス調整を行う。

実験結果

リサーチクエスチョン

• RQ1 三モーダル表現（Sequence、Graph、Geometry）が単一・二モーダル手法を上回るか？
• RQ2 SMILES、グラフ、幾何表現間の対照的整列が下流の予測性能を改善するか？
• RQ3 各モダリティと融合機構が総合性能に及ぼす寄与はどれか？
• RQ4 SGGRL はランダム分割とスカフォールド分割の多様なデータセット（分類・回帰）でどのように性能を示すか？

主な発見

Method	BACE ROC-AUC	BBP ROC-AUC	Clintox ROC-AUC	Sider ROC-AUC	Tox21 ROC-AUC	ESOL RMSE	FreeSolv RMSE
RNNS2S	0.740 ± 0.017	0.898 ± 0.011	0.910 ± 0.036	0.550 ± 0.006	0.702 ± 0.005	1.277 ± 0.066	2.939 ± 0.175
ST	0.727 ± 0.026	0.910 ± 0.010	0.930 ± 0.037	0.558 ± 0.005	0.708 ± 0.005	1.056 ± 0.054	2.281 ± 0.236
GIN	0.795 ± 0.034	0.792 ± 0.059	0.694 ± 0.024	0.591 ± 0.016	0.806 ± 0.002	0.885 ± 0.051	1.619 ± 0.202
CMPNN	0.873 ± 0.029	0.927 ± 0.017	0.901 ± 0.016	0.639 ± 0.041	0.837 ± 0.009	0.798 ± 0.112	1.570 ± 0.442
GEM	0.856 ± 0.011	0.724 ± 0.004	0.901 ± 0.013	0.672 ± 0.004	0.781 ± 0.001	0.798 ± 0.029	1.877 ± 0.094
Uni-Mol	0.857 ± 0.020	0.729 ± 0.060	0.919 ± 0.180	0.659 ± 0.130	0.796 ± 0.050	0.788 ± 0.029	1.620 ± 0.035
GraSeq	0.764 ± 0.002	0.932 ± 0.015	0.606 ± 0.030	0.578 ± 0.024	0.802 ± 0.005	1.258 ± 0.004	2.746 ± 0.012
3D Infomax	0.794 ± 0.019	0.691 ± 0.010	0.594 ± 0.032	0.534 ± 0.033	0.745 ± 0.074	0.894 ± 0.028	2.337 ± 0.227
GraphMVP	0.812 ± 0.090	0.724 ± 0.016	0.775 ± 0.042	0.639 ± 0.012	0.744 ± 0.020	1.029 ± 0.033	1.893 ± 0.063
SGGRL(Ours)	0.917 ± 0.020	0.967 ± 0.010	0.979 ± 0.016	0.682 ± 0.015	0.847 ± 0.013	0.628 ± 0.057	0.847 ± 0.116

• SGGRL は7つのベンチマーク MoleculeNet データセットでベースラインを上回り、複数のタスクで最先端の結果を達成した。
• 分類データセットでは、SGGRL は ROC-AUC 指標で BACE が 91.7%、BBP が 96.7%、Clintox が 97.9%、Tox21 が 84.7% を達成し、サブ最適モデルに対する平均改善は 3.35%。
• 回帰タスクでは、SGGRL はベースラインと比較して RMSE が低下（平均減少 0.441）。
• アブレーション解析では3つのモダリティすべてが寄与し、幾何がコンフォメーションノイズの影響で寄与が小さくなる一方、Bi-LSTM の前処理と注意機構のリードアウトが性能を改善した。
• 可視化結果は、SGGRL が強力なベースラインよりも明確なクラス分離を提供し、多模モーダル融合の利点を裏付ける。