[논문 리뷰] ChemBERTa-2: Towards Chemical Foundation Models

Walid Ahmad, Elana P. Simon외 3명|arXiv (Cornell University)|2022. 09. 05.

Machine Learning in Materials Science인용 수 133

한 줄 요약

ChemBERTa-2는 대형 SMILES 기반 트랜스포머를 사전학습하고(77M 화합물) MLM과 MTR 사전학습을 비교한다; MoleculeNet 결과에서 경쟁력을 달성하고, 사전학습이 다운스트림 작업으로 확장되는 방식을 분석한다.

ABSTRACT

Large pretrained models such as GPT-3 have had tremendous impact on modern natural language processing by leveraging self-supervised learning to learn salient representations that can be used to readily finetune on a wide variety of downstream tasks. We investigate the possibility of transferring such advances to molecular machine learning by building a chemical foundation model, ChemBERTa-2, using the language of SMILES. While labeled data for molecular prediction tasks is typically scarce, libraries of SMILES strings are readily available. In this work, we build upon ChemBERTa by optimizing the pretraining process. We compare multi-task and self-supervised pretraining by varying hyperparameters and pretraining dataset size, up to 77M compounds from PubChem. To our knowledge, the 77M set constitutes one of the largest datasets used for molecular pretraining to date. We find that with these pretraining improvements, we are competitive with existing state-of-the-art architectures on the MoleculeNet benchmark suite. We analyze the degree to which improvements in pretraining translate to improvement on downstream tasks.

연구 동기 및 목표

• SMILES 기반 표현에 대형 언어 모델 사전학습 개념을 전이시켜 화학 기본 모델의 동기를 제시한다.
• 사전학습 데이터셋 규모와 목표(MLM vs MTR)가 다운스트림 분자 예측 작업에 미치는 영향을 탐구한다.
• 사전학습의 개선이 MoleculeNet 벤치마크 전반의 성능 향상으로 얼마나 확산되는지 식별한다.
• 대규모 분자 모델을 위한 사전학습 전략과 하이퍼파라미터에 대한 실용적인 가이드를 제공한다.

제안 방법

• PubChem의 77M SMILES를 MLM 사전학습에 사용하는 RoBERTa 기반 트랜스포머(ChemBERTa-2) 활용
• MLM과 다중작업 회귀(MTR) 사전학습 목표를 비교
• 5M, 10M, 77M 데이터셋에서 아키텍처 및 학습 설정에 대한 하이퍼파라미터 탐색 수행
• 스캐폴드 기반 분할 및 Task별 표준화 또는 클래스 가중치를 적용하여 MoleculeNet 작업에 사전학습 모델 미세조정
• 사전학습 손실과 다운스트림 성능 간의 전달 관계 분석
• 재현성을 위한 훈련된 모델의 오픈 소스 공개

실험 결과

연구 질문

• RQ1 더 큰 규모의 SMILES 사전학습이 MoleculeNet 작업에서 분자 특성 예측 성능을 향상시키는가?
• RQ2 MLM과 다중작업 회귀(MTR) 사전학습이 다운스트림 성능 및 학습 효율 측면에서 어떻게 비교되는가?
• RQ3 사전학습 손실이 특정 다운스트림 데이터셋(예: 용해도, 독성)에서의 개선으로 얼마나 전이되는가?

주요 결과

• 더 큰 데이터셋(최대 77M SMILES)으로 사전학습하면 사전학습 손실이 더 낮아지고 여러 작업에서 다운스트림 성능이 향상된다.
• 일반적으로 MTR 사전학습이 다운스트림 작업에서 MLM보다 우수하지만, MLM 기반 아키텍처 탐색은 상관된 손실로 인해 MTR 사전학습 선택에 효율적으로 가이드를 제공할 수 있다.
• 77M 데이터로 MLM 또는 MTR로 사전학습된 ChemBERTa-2 구성은 경쟁력 있는 결과를 달성하고 표 1의 8개 작업 중 6개에서 D-MPNN을 능가한다.
• 사전학습 손실의 개선은 특정 작업(예: Lipophilicity)에서 이익과 상관관계를 보이지만 전이 효율성은 데이터셋과 작업에 따라 다르다.
• 더 느린 MTR 학습에 들어가기 전에 MLM으로 하이퍼파라미터를 선택하는 것이 실용적인 워크플로우가 될 수 있다.
• 차원 축소 분석(UMAP)은 ChemBERTa 임베딩이 다운스트림 분류 작업의 강력한 사전정보로 작용할 수 있음을 보여준다.