Skip to main content
QUICK REVIEW

[논문 리뷰] A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language

Bing Su, Dazhao Du|arXiv (Cornell University)|2022. 09. 12.
Computational Drug Discovery MethodsComputer Science인용 수 39
한 줄 요약

MoMu는 분자 그래프와 관련 텍스트의 페어링을 통해 그래프와 언어 표현을 연결하고, 교차 모달 검색, 분자 캡션, 제로샷 텍스트-그래프 생성 및 향상된 속성 예측을 가능하게 하는 분자 다중모달 기본 모델이다.

ABSTRACT

Although artificial intelligence (AI) has made significant progress in understanding molecules in a wide range of fields, existing models generally acquire the single cognitive ability from the single molecular modality. Since the hierarchy of molecular knowledge is profound, even humans learn from different modalities including both intuitive diagrams and professional texts to assist their understanding. Inspired by this, we propose a molecular multimodal foundation model which is pretrained from molecular graphs and their semantically related textual data (crawled from published Scientific Citation Index papers) via contrastive learning. This AI model represents a critical attempt that directly bridges molecular graphs and natural language. Importantly, through capturing the specific and complementary information of the two modalities, our proposed model can better grasp molecular expertise. Experimental results show that our model not only exhibits promising performance in cross-modal tasks such as cross-modal retrieval and molecule caption, but also enhances molecular property prediction and possesses capability to generate meaningful molecular graphs from natural language descriptions. We believe that our model would have a broad impact on AI-empowered fields across disciplines such as biology, chemistry, materials, environment, and medicine, among others.

연구 동기 및 목표

  • 다양한 모달리티에 걸친 포괄적 분자 이해를 가능하게 하기 위해 분자 그래프와 자연어 간의 다리 놓기를 촉진한다.
  • 그래프-텍스트 페어 데이터에서 이중 인코더 모델을 사전 학습시켜 그래프와 텍스트 표현을 정렬한다.
  • 교차 모달 검색, 분자 캡션, 제로샷 텍스트-그래프 생성, 속성 예측 등 다운스트림 능력을 시연한다.

제안 방법

  • 그래프에 대해 Graph Isomorphism Network를, 텍스트에 대해 BERT 변형을 사용하여 분자를 공유 표현 공간에 매핑하는 두 인코더를 사용한다.
  • PubChem 분자 그래프를 S2orc에서 검색된 관련 SCI 논문 텍스트와 연결하여 15,613개의 그래프-문서 쌍을 만든다.
  • GraphCL에서 영감을 받은 MoMu 다중 뷰 학습 설정에서 두 개의 그래프 증강과 네 가지 교차 모달 대조 손실을 적용한다.
  • 그래프 인코더를 GraphGIN 가중치로, 텍스트 인코더를 Sci-BERT 또는 KV-PLM으로 초기화하여 학습을 부트스트랩한다.
  • 그래프와 텍스트 표현을 정렬하기 위해 InfoNCE 손실을 사용한 인터- 및 인트라-모달 대조 학습으로 학습한다.
  • PCdes에서 교차 모달 검색(그래프-텍스트 및 텍스트-그래프)을 평가하고 제로샷 검색 테스트를 수행하며, 텍스트-그래프 정렬 및 생성 능력을 평가한다.
  • MolT5 기반 캡션화에 MoMu 그래프 특징을 통합하여 분자 캡션의 향상을 시연한다.
  • MoFlow의 생성기에서 잠재 벡터를 최적화하고 MoMu 표현과의 교차 모달 유사성에 조건화하여 제로샷 텍스트-그래프 분자 생성을 제안한다.

실험 결과

연구 질문

  • RQ1공유 임베딩 공간에서 결합된 그래프-텍스트 인코더가 분자 그래프와 자연어 설명을 정렬할 수 있는가?
  • RQ2MoMu 표현이 교차 모달 검색 및 캡션화를 지원하고 제로샷 텍스트-그래프 분자 생성을 가능하게 하는가?
  • RQ3다중모달 사전학습이 단일 모달리티 사전학습에 비해 분자 속성 예측을 향상시키는가?
  • RQ4제로샷 생성이 높은 수준의 텍스트 설명에 부합하는 다양한 분자를 만들어낼 수 있는가?

주요 결과

  • MoMu는 그래프-텍스트 및 텍스트-그래프 검색에서 제로샷 시나리오를 포함해 기준보다 우수하다.
  • MoMu 기반 그래프 특징이 MolT5 캡션 메트릭을 개선하는 MoMu 기반 그래프 특징을 이용해 ChEBI-20 데이터셋에서 향상을 보인다.
  • MoMu 사전학습은 MoleculeNet 데이터셋 전반에서 평균적으로 분자 속성 예측이 우수하게 나타난다.
  • 제로샷 텍스트-그래프 생성은 MoMu와 MoFlow를 활용하여 기술된 조건을 만족하는 다양한 분자를 생성할 수 있다.
  • 그래프 인코더가 다중모달 사전학습으로 초기화될 때 다운스트림 과제에서 단일 모달리티 초기화보다 우수하다.
  • 미세 조정 후 MoMu 표현이 속성 간 분리를 t-SNE 시각화에서 더 뚜렷하게 보인다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.