[논문 리뷰] MoCL: Data-driven Molecular Fingerprint via Knowledge-aware Contrastive Learning from Molecular Graph

Mengying Sun, Jing Xing외 3명|arXiv (Cornell University)|2021. 06. 05.

Computational Drug Discovery Methods인용 수 9

한 줄 요약

MoCL는 분자의 그래프 표현 학습을 향상시키기 위해 국소 수준의 도메인 지식(생물등가체 서브스트럭처 치환)과 전반적 수준의 지식(그래프 유사도)을 통합하는 지식 인식형 대비 학습 프레임워크를 제안한다. 국소 및 전반적 대비 목표를 함께 최적화함으로써, 선형 및 준감독 설정에서 다양한 분자의 성질 예측 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent years have seen a rapid growth of utilizing graph neural networks (GNNs) in the biomedical domain for tackling drug-related problems. However, like any other deep architectures, GNNs are data hungry. While requiring labels in real world is often expensive, pretraining GNNs in an unsupervised manner has been actively explored. Among them, graph contrastive learning, by maximizing the mutual information between paired graph augmentations, has been shown to be effective on various downstream tasks. However, the current graph contrastive learning framework has two limitations. First, the augmentations are designed for general graphs and thus may not be suitable or powerful enough for certain domains. Second, the contrastive scheme only learns representations that are invariant to local perturbations and thus does not consider the global structure of the dataset, which may also be useful for downstream tasks. Therefore, in this paper, we study graph contrastive learning in the context of biomedical domain, where molecular graphs are present. We propose a novel framework called MoCL, which utilizes domain knowledge at both local- and global-level to assist representation learning. The local-level domain knowledge guides the augmentation process such that variation is introduced without changing graph semantics. The global-level knowledge encodes the similarity information between graphs in the entire dataset and helps to learn representations with richer semantics. The entire model is learned through a double contrast objective. We evaluate MoCL on various molecular datasets under both linear and semi-supervised settings and results show that MoCL achieves state-of-the-art performance.

연구 동기 및 목표

• 일반적인 그래프 보완 전략이 분자의 의미를 해칠 수 있는 한계를 해결하기 위해.
• 국소 불변성 외에도 분자의 그래프 간의 전반적 구조적 유사도를 고려하여 대비 학습을 향상시키기 위해.
• 국소 및 전반적 도메인 지식을 동시에 활용하는 통합 프레임워크를 개발하여 분자의 데이터에 대한 그래프 신경망의 사전학습을 향상시키기 위해.
• 선형 및 준감독 학습 프rotocol 하에서 다양한 분자의 성질 예측 과제에 대해 제안된 방법의 효과성을 평가하기 위해.

제안 방법

• 기존 서브스트럭처를 생물등가체로 대체함으로써 분자의 의미를 유지하면서도 다양성을 도입하는 새로운 데이터 보완 전략인 서브스트럭처 치환을 제안한다.
• 전역 유사도 지표에서 유도된 근접 이웃 그래프를 사용하여 분자 그래프 간의 쌍별 유사도를 인코딩하는 전역 대비 손실을 도입한다.
• 국소 보완(모델명: MoCL-DK)과 전역 유사도를 위한 이중 대비 목표를 도입하며, 둘을 함께 최적화하여 표현 품질을 향상시킨다.
• 프로젝션 헤드를 갖춘 그래프 신경망 인코더를 사용하여 임베딩을 생성하고, 국소 및 전역 뷰에서 InfoNCE 손실을 통해 대비 학습을 수행한다.
• 국소 및 전역 대비 손실의 가중 조합을 적용하며, 이웃 수와 손실 가중치를 조정하는 하이퍼파rameter를 통해 두 목표 간의 균형을 맞춘다.
• 표현 품질을 검증하기 위해 선형 평가(선형 분류기로 탐색)와 준감독 미세조정을 모두 적용한다.

실험 결과

연구 질문

• RQ1 일반적인 그래프 보완 전략에 비해 생물등가체 기반의 도메인 특화 보완 전략이 분자의 표현 학습에 개선 효과를 줄 수 있는가?
• RQ2 대비 학습에 전역 그래프 유사도 정보를 통합하면 분자의 성질 예측 과제의 최종 성능 향상에 기여하는가?
• RQ3 대비 손실과 최소 제곱 감독 간의 다른 전역 손실 제형이 표현 품질에 어떤 영향을 미치는가?
• RQ4 전역 대비 목표에서 이웃 수와 손실 가중치 등의 하이퍼파rameter에 대한 모델 성능의 민감도는 어떠한가?

주요 결과

• MoCL-DK1 및 MoCL-DK3 보완 전략은 전역 지식으로부터 가장 높은 성능 향상을 기록했으며, 데이터셋 간 중앙값 AUC 향상 폭이 0.015–0.025에 달했다.
• 전역 유사도에 대한 대비 손실(CL)은 직접적인 최소 제곱 감독(LS)보다 우수했으며, 선형 프로토콜 하에서 데이터셋 평균 AUC 향상 폭이 0.02–0.04에 달했다.
• MoCL-DK1-G는 전역 대비 손실을 적용하여 최신 기술 수준의 성능을 달성했으며, 선형 평가 프로토콜에서 7개 데이터셋 중 6개에서 모든 베이스라인을 초월했다.
• 학습된 표현에 선형 분류기를 적용했을 때, 잘 트레이닝된 딥러닝 모델보다도 높은 테스트 AUC를 기록하여 강력한 사전학습 품질을 입증했다.
• 민감도 분석 결과, 중간 정도의 이웃 수(예: 10–20)와 중간에서 높은 수준의 전역 손실 가중치(λ ≈ 0.5–1.0)에서 최적의 성능을 기록했다.
• 준감독 미세조정에서 MoCL-DK1-G는 7개 데이터셋 중 5개에서 최고의 성능을 기록하여 다양한 학습 프로토콜 간의 강건성을 확인했다.