[논문 리뷰] Towards 3D Molecule-Text Interpretation in Language Models

Sihang Li, Zhiyuan Liu외 6명|arXiv (Cornell University)|2024. 01. 25.

Machine Learning in Materials Science인용 수 7

한 줄 요약

논문은 3D-MoLM을 소개하며, 프레임워크 3D 분자 인코더와 언어 모델을 3D 분자-텍스트 프로젝터와 3D 분자 중심 명령어 튜닝 데이터셋(3D-MoIT)을 통해 통합합니다. 이는 분자-텍스트 검색, 캡션, 3D 의존 속성을 포함하는 오픈-텍스트 분자 QA 작업에서 최첨단 성능을 입증합니다.

ABSTRACT

Language Models (LMs) have greatly influenced diverse domains. However, their inherent limitation in comprehending 3D molecular structures has considerably constrained their potential in the biomolecular domain. To bridge this gap, we focus on 3D molecule-text interpretation, and propose 3D-MoLM: 3D-Molecular Language Modeling. Specifically, 3D-MoLM enables an LM to interpret and analyze 3D molecules by equipping the LM with a 3D molecular encoder. This integration is achieved by a 3D molecule-text projector, bridging the 3D molecular encoder's representation space and the LM's input space. Moreover, to enhance 3D-MoLM's ability of cross-modal molecular understanding and instruction following, we meticulously curated a 3D molecule-centric instruction tuning dataset -- 3D-MoIT. Through 3D molecule-text alignment and 3D molecule-centric instruction tuning, 3D-MoLM establishes an integration of 3D molecular encoder and LM. It significantly surpasses existing baselines on downstream tasks, including molecule-text retrieval, molecule captioning, and more challenging open-text molecular QA tasks, especially focusing on 3D-dependent properties. We release our codes and datasets at https://github.com/lsh0520/3D-MoLM.

연구 동기 및 목표

• 3D 분자 구조와 LM 기반 텍스트 처리 사이의 간극을 해소한다.
• LM이 3D 분자 기하학을 조건으로 텍스트를 해석하고 생성하도록 한다.
• PubChem 및 PubChemQC에서 3D 분자 중심의 명령어 조정 데이터셋(3D-MoIT)을 큐레이션한다.
• 3D 의존 속성을 포함하는 분자-텍스트 검색, 캡션, 오픈 텍스트 QA에서 성능 향상을 시연한다.
• 3D 분자 인코더, 3D 분자-텍스트 프로젝터, 그리고 교차 모달 분자 이해를 위한 LM을 결합한 확장 가능한 파이프라인을 제공한다.

제안 방법

• 3D 분자 인코더로 Uni-Mol을 사용하여 분자의 3D 표현을 생성한다.
• 3D 분자-텍스트 프로젝터(Q-Former)를 구현하여 3D 분자 표현을 LM 입력 공간으로 1D 소프트 프롬프트로 매핑한다.
• 베이스 언어 모델로 Llama2를 통합하고 텍스트와 분자 토큰이 혼합된 시퀀스와 인과 생성 마스크를 허용한다.
• 세 단계로 학습한다: (1) 분자-텍스트 매칭, 대조, 캡션을 사용한 3D 분자-텍스트 표현 학습; (2) 3D-에서-텍스트 생성으로의 생성 학습을 통한 3D 분자-텍스트 정렬; (3) 3D 분자 중심의 명령어 조정을 통해 3D 관련 지시를 더 잘 따르도록 한다.
• 정렬 및 다운스트림 작업을 위해 GPT-3.5 서술이 보강된 316K PubChem 기반 3D 분자-텍스트 쌍을 활용한다.
• 3D 인코더를 고정한 채 LM을 미세 조정하기 위해 LoRA 튜닝을 활용한다.
• PubChem 및 PubChemQC에서 3D 의존 속성 정보를 명령 형식에 주입하기 위해 3D-MoIT 명령어 조정 데이터셋을 생성한다.

실험 결과

연구 질문

• RQ1 비전-언어 스타일 프로젝터가 3D 분자 표현과 언어 모델의 입력 공간을 정렬할 수 있는가?
• RQ2 3D-분자 관련 작업에 대한 지시 조정이 생성 및 QA 성능을 향상시키는가?
• RQ3 1D SMILES나 2D 그래프와 비교했을 때 3D 분자 인지가 분자-텍스트 검색, 캡션, 오픈 텍스트 QA에 어떤 영향을 미치는가?
• RQ4 GPT-3.5 보강이 3D-MoLM 파이프라인에 어떤 기여를 하는가?
• RQ5 3D 인지 LM이 3D 의존 분자 속성에서 Uni-Mol 및 다른 기준과 비교해 어떤 성능을 보이는가?

주요 결과

• 3D-MoLM은 PubChem 하류 작업에서 분자-텍스트 검색 및 캡션에서 기준선을 능가합니다(예: 검색 테스트에서 M2T에서 Acc 93.50, T2M에서 92.89). 캡션에서 BLEU-2/4와 ROUGE/METEOR 향상.
• GPT-3.5 보강은 텍스트 생성 품질을 높이고 분자 구조와 특성 간의 연결을 강화합니다.
• 오픈 텍스트 QA는 3D 의존 속성에서 더 낮은 MAE를 달성하고 1D/2D 인지 기준선에 비해 기술적 서술 및 계산 속성 QA 결과가 더 우수합니다.
• 3D 분자 중심의 지시 조정은 지시 준수와 3D 속성 이해를 향상시키며(HOMO-LUMO 갭 예측 등).
• Q-Former를 통한 3D 분자-텍스트 정렬은 LM이 3D 분자 구조를 조건으로 텍스트를 생성하는 효과적인 교차 모달 생성을 가능하게 한다.