[논문 리뷰] Multi-Modal Representation Learning for Molecular Property Prediction: Sequence, Graph, Geometry

Zeyu Wang, Tianyi Jiang외 2명|arXiv (Cornell University)|2024. 01. 07.

Computational Drug Discovery Methods인용 수 10

한 줄 요약

본 논문은 SMILES 시퀀스, 분자 그래프, 기하를 융합하여 분자 특성 예측을 향상시키는 다중 모달 분자 표현 모델 SGGRL을 제시하고, 모달리티를 정렬하기 위한 대조학습 목적을 포함합니다.

ABSTRACT

Molecular property prediction refers to the task of labeling molecules with some biochemical properties, playing a pivotal role in the drug discovery and design process. Recently, with the advancement of machine learning, deep learning-based molecular property prediction has emerged as a solution to the resource-intensive nature of traditional methods, garnering significant attention. Among them, molecular representation learning is the key factor for molecular property prediction performance. And there are lots of sequence-based, graph-based, and geometry-based methods that have been proposed. However, the majority of existing studies focus solely on one modality for learning molecular representations, failing to comprehensively capture molecular characteristics and information. In this paper, a novel multi-modal representation learning model, which integrates the sequence, graph, and geometry characteristics, is proposed for molecular property prediction, called SGGRL. Specifically, we design a fusion layer to fusion the representation of different modalities. Furthermore, to ensure consistency across modalities, SGGRL is trained to maximize the similarity of representations for the same molecule while minimizing similarity for different molecules. To verify the effectiveness of SGGRL, seven molecular datasets, and several baselines are used for evaluation and comparison. The experimental results demonstrate that SGGRL consistently outperforms the baselines in most cases. This further underscores the capability of SGGRL to comprehensively capture molecular information. Overall, the proposed SGGRL model showcases its potential to revolutionize molecular property prediction by leveraging multi-modal representation learning to extract diverse and comprehensive molecular insights. Our code is released at https://github.com/Vencent-Won/SGGRL.

연구 동기 및 목표

• 단일 모달(시퀀스, 그래프 또는 기하)만으로는 부족한 포괄적 분자 표현의 필요성을 제시한다.
• SGGRL을 제안하여 세 가지 모달리티를 공동으로 학습하고 융합하여 분자 특성 예측에 활용한다.
• 대조학습 및 융합 메커니즘을 통해 모달리티 간 표현 일관성 개선한다.

제안 방법

• 세 가지 인코더(시퀀스, 그래프, 기하)가 모달리티별 표현을 생성한다.
• SMILES 시퀀스는 트랜스포머 기반 인코더 전에 Bi-LSTM으로 전처리한다.
• 분자 수준 읽기 아웃풋을 위해 GlobalAttentionPool을 사용하고, 학습 가능한 가중치를 가지는 융합 계층으로 모달리티를 합친다.
• NT-Xent 기반 대조손실을 도입하여 같은 분자 간 모달리티 표현을 정렬하고 서로 다른 분자를 분리한다.
• 감독 예측 손실(BCE/MSE)과 대조 일관성 손실을 균형 매개변수 alpha로 결합한 합성 손실로 학습한다.

실험 결과

연구 질문

• RQ1 삼 모달 표현(시퀀스, 그래프, 기하)이 분자 특성 예측에서 단일 및 이모달 접근법을 능가할 수 있는가?
• RQ2 SMILES, 그래프, 기하 표현 간의 대조적 정렬이 다운스트림 예측 성능을 향상시키는가?
• RQ3 각 모달리티와 융합 메커니즘의 기여도는 전체 성능에 어떻게 반영되는가?
• RQ4 SGGRL이 무작위 및 골간 분할에서 다양한 데이터셋(classification 및 regression)에서 어떤 성능을 보이는가?

주요 결과

방법	BACE ROC-AUC	BBBP ROC-AUC	Clintox ROC-AUC	Sider ROC-AUC	Tox21 ROC-AUC	ESOL RMSE	FreeSolv RMSE
RNNS2S	0.740 ± 0.017	0.898 ± 0.011	0.910 ± 0.036	0.550 ± 0.006	0.702 ± 0.005	1.277 ± 0.066	2.939 ± 0.175
ST	0.727 ± 0.026	0.910 ± 0.010	0.930 ± 0.037	0.558 ± 0.005	0.708 ± 0.005	1.056 ± 0.054	2.281 ± 0.236
GIN	0.795 ± 0.034	0.792 ± 0.059	0.694 ± 0.024	0.591 ± 0.016	0.806 ± 0.002	0.885 ± 0.051	1.619 ± 0.202
CMPNN	0.873 ± 0.029	0.927 ± 0.017	0.901 ± 0.016	0.639 ± 0.041	0.837 ± 0.009	0.798 ± 0.112	1.570 ± 0.442
GEM	0.856 ± 0.011	0.724 ± 0.004	0.901 ± 0.013	0.672 ± 0.004	0.781 ± 0.001	0.798 ± 0.029	1.877 ± 0.094
Uni-Mol	0.857 ± 0.020	0.729 ± 0.060	0.919 ± 0.180	0.659 ± 0.130	0.796 ± 0.050	0.788 ± 0.029	1.620 ± 0.035
GraSeq	0.764 ± 0.002	0.932 ± 0.015	0.606 ± 0.030	0.578 ± 0.024	0.802 ± 0.005	1.258 ± 0.004	2.746 ± 0.012
3D Infomax	0.794 ± 0.019	0.691 ± 0.010	0.594 ± 0.032	0.534 ± 0.033	0.745 ± 0.074	0.894 ± 0.028	2.337 ± 0.227
GraphMVP	0.812 ± 0.090	0.724 ± 0.016	0.775 ± 0.042	0.639 ± 0.012	0.744 ± 0.020	1.029 ± 0.033	1.893 ± 0.063
SGGRL(Ours)	0.917 ± 0.020	0.967 ± 0.010	0.979 ± 0.016	0.682 ± 0.015	0.847 ± 0.013	0.628 ± 0.057	0.847 ± 0.116

• SGGRL은 MoleculeNet의 7개 벤치마크 데이터셋에서 베이스라인을 능가하며 여러 작업에서 최첨단 성능을 달성한다.
• 분류 데이터셋에서 SGGRL은 ROC-AUC 지표로 각각 BACE 91.7%, BBBP 96.7%, Clintox 97.9%, Tox21 84.7%를 달성; 서브 optimal 모델 대비 평균 개선은 3.35%이다.
• 회귀 작업에서 SGGRL은 베이스라인에 비해 RMSE가 감소하는 경향을 보이며 평균 감소폭은 0.441이다.
• 소거(ablation) 분석에서 세 가지 모달리티가 모두 기여하며, 기하가 구조적 노이즈로 인해 상대적으로 기여도가 작아지는 경향이 나타났고, Bi-LSTM 전처리 및 주의(attention) 기반 읽어오기가 성능을 향상시킨다.
• 시각화 결과 SGGRL은 강력한 베이스라인보다 더 명확한 클래스 구분을 제공하여 다중 모달 융합의 이점을 입증한다.