[논문 리뷰] Dual-view Molecule Pre-training

Jinhua Zhu, Yingce Xia외 4명|arXiv (Cornell University)|2021. 06. 17.

Computational Drug Discovery Methods참고 문헌 55인용 수 15

한 줄 요약

이 논문은 SMILES 시퀀스(Transformer를 통해)와 분자 그래프(GNN를 통해)를 동시에 활용하여 통합된 분자 표현을 학습하는 새로운 사전학습 프레임워크인 이중시각 분자 사전학습(Dual-view Molecule Pre-training, DMP)을 제안한다. 마스크된 언어 모델링, 마스크된 원자 예측, 그리고 두 시각 간의 유사도를 최대화하는 이중시각 일致성 목표를 결합함으로써, DMP는 9개의 분자 성질 예측 작업 중 7개와 3개의 역합성 작업에서 최신 기술 수준(SOTA) 성능을 달성하며 기존 방법에 비해 뚜렷한 성능 향상을 보였다.

ABSTRACT

Inspired by its success in natural language processing and computer vision, pre-training has attracted substantial attention in cheminformatics and bioinformatics, especially for molecule based tasks. A molecule can be represented by either a graph (where atoms are connected by bonds) or a SMILES sequence (where depth-first-search is applied to the molecular graph with specific rules). Existing works on molecule pre-training use either graph representations only or SMILES representations only. In this work, we propose to leverage both the representations and design a new pre-training algorithm, dual-view molecule pre-training (briefly, DMP), that can effectively combine the strengths of both types of molecule representations. The model of DMP consists of two branches: a Transformer branch that takes the SMILES sequence of a molecule as input, and a GNN branch that takes a molecular graph as input. The training of DMP contains three tasks: (1) predicting masked tokens in a SMILES sequence by the Transformer branch, (2) predicting masked atoms in a molecular graph by the GNN branch, and (3) maximizing the consistency between the two high-level representations output by the Transformer and GNN branches separately. After pre-training, we can use either the Transformer branch (this one is recommended according to empirical results), the GNN branch, or both for downstream tasks. DMP is tested on nine molecular property prediction tasks and achieves state-of-the-art performances on seven of them. Furthermore, we test DMP on three retrosynthesis tasks and achieve state-of-the-art results on them.

연구 동기 및 목표

• 기존의 분자 사전학습 방법이 SMILES 시퀀스 또는 분자 그래프 중 하나의 표현 유형에만 의존하는 한계를 해결하기 위해.
• Transformer 기반의 시퀀스 모델링과 GNN 기반의 구조 모델링이 분자 표현 학습에서 상호보완적인 강점을 가지는지 탐색하기 위해.
• 두 시각 모두를 동시에 최적화하고 고수준 표현 간의 일致성을 강제하는 통합된 사전학습 프레임워크를 설계하기 위해.
• 더 나은, 더 견고한 표현을 통해 분자 성질 예측 및 역합성 작업의 최종 성능을 향상시키기 위해.

제안 방법

• DMP는 이중 브랜치 아키텍처를 사용한다: SMILES 시퀀스를 처리하는 Transformer 브랜치와 분자 그래프를 처리하는 GNN 브랜치.
• 모델은 세 가지 목표를 통해 사전학습된다: SMILES 시퀀스 내 마스크된 토큰 예측, 분자 그래프 내 마스크된 원자 예측, 그리고 대조 학습을 통한 이중시각 일치성.
• 이중시각 일치성 목표는 두 브랜치에서 나온 표현의 투영된 표현 간 코사인 유사도를 최대화함으로써 구현되며, BYOL 프레임워크를 영감으로 삼는다.
• 표현 일치성은 Transformer와 GNN 출력에 모두 적용되는 프로젝션 헤드를 통해 강제된다.
• 사전학습 후, 모델은 단지 Transformer 브랜치, GNN 브랜치, 또는 둘 다를 사용하여 미세조정할 수 있으며, 실험 결과는 최종 작업에서 Transformer 브랜치가 더 유리한 성능을 보였다.
• 사전학습은 PubChem의 1,000만 개 분자에서 수행되었고, 이후 MoleculeNet 및 역합성 벤치마크에서 미세조정이 이루어졌다.

실험 결과

연구 질문

• RQ1 SMILES 시퀀스와 분자 그래프 표현을 결합하면, 개별적으로 사용할 경우보다 분자 표현 학습 성능을 향상시킬 수 있는가?
• RQ2 이중시각 표현 간의 일치성을 강제하면 분자 성질 예측 및 역합성 작업에서 더 나은 최종 성능을 달성할 수 있는가?
• RQ3 표준 사전학습 목표인 마스크된 언어 모델링과 비교해, 이중시각 일치성 목표는 어떤가?
• RQ4 단일시각 모델 대비 이중시각 접근법이 스케일드 수준의 구조적 정보를 더 잘 포착할 수 있는가?
• RQ5 SMILES와 그래프 시각의 공동 학습은 다양한 분자 구조에 걸쳐 더 견고하고 일반화 능력이 뛰어난 표현을 이끌어낼 수 있는가?

주요 결과

• DMP는 MoleculeNet의 9개 분자 성질 예측 작업 중 7개에서 최신 기술 수준(SOTA) 성능을 달성했으며, 각각 1.2점과 2.2점의 평균 점수 향상을 보여 MolCLR 및 GROVER를 앞섰다.
• USPTO-50k 데이터셋을 사용한 역합성 작업에서, DMP는 알려지지 않은 반응 유형 설정에서 정확도를 42.3%에서 46.1%로 향상시켰고, 반응 유형이 제공되는 경우 54.2%에서 57.5%로 상승시켰다.
• USPTO-full 데이터셋에서 DMP는 Transformer 기반 베이스라인의 정확도를 2.1점 향상시켜 새로운 최신 기술 수준을 수립했다.
• t-SNE 및 DB 지수를 사용한 시각화 결과, DMP 표현은 스케일드 기반으로 분자를 더 잘 분리하는 것으로 나타났으며, DB 지수는 2.19로 GNN(3.56) 및 Transformer(3.59)보다 우수했다.
• GNN 기반 모델에 DMP를 결합하면 역합성 작업에서 최신 기술 수준 성능을 달성했으며, GLN 및 DeeperGCN 기반 모델 대비 2.3~3.3점의 성능 향상을 보였다.
• 제거 분석 결과, 성능 향상은 아키텍처의 차이가 아니라 사전학습 덕분임을 확인했으며, DeeperGCN와 DMP를 조합하면 성능이 더욱 향상됨을 확인했다.