[논문 리뷰] A Systematic Survey of Chemical Pre-trained Models

Jun Xia, Yanqiao Zhu외 2명|arXiv (Cornell University)|2022. 10. 29.

Computational Drug Discovery Methods인용 수 8

한 줄 요약

이 논문은 화학적 사전 학습 모델(CPMs)에 대한 첫 번째 종합적 서베이를 제시하며, 분자의 서술자, 인코더 아키텍처(GNNs, 트랜스포머 등), 사전 학습 전략, 그리고 응용 분야를 체계적으로 검토한다. 모델의 일반화 능력, 벤치마크 신뢰성, 이론적 기초 등 핵심 과제를 규명하고 약물 발굴 및 그 이상의 분야에서 분자의 표현 학습을 발전시킬 수 있는 비판적 로드맵을 제시한다.

ABSTRACT

Deep learning has achieved remarkable success in learning representations for molecules, which is crucial for various biochemical applications, ranging from property prediction to drug design. However, training Deep Neural Networks (DNNs) from scratch often requires abundant labeled molecules, which are expensive to acquire in the real world. To alleviate this issue, tremendous efforts have been devoted to Molecular Pre-trained Models (CPMs), where DNNs are pre-trained using large-scale unlabeled molecular databases and then fine-tuned over specific downstream tasks. Despite the prosperity, there lacks a systematic review of this fast-growing field. In this paper, we present the first survey that summarizes the current progress of CPMs. We first highlight the limitations of training molecular representation models from scratch to motivate CPM studies. Next, we systematically review recent advances on this topic from several key perspectives, including molecular descriptors, encoder architectures, pre-training strategies, and applications. We also highlight the challenges and promising avenues for future research, providing a useful resource for both machine learning and scientific communities.

연구 동기 및 목표

• 딥 러닝에서 레이블이 부여된 분자 데이터의 부족 문제를 해결하기 위해 화학적 사전 학습 모델(CPMs)을 서베이하는 것.
• 데이터 부족 및 분포 외 일반화 능력 부족 등의 문제로 인해 분자 표현을 처음부터 학습시키는 데에 존재하는 한계를 규명하는 것.
• CPM 구성 요소인 분자의 서술자, 인코더 아키텍처, 사전 학습 목표, 응용 분야에 대한 체계적인 서베이를 제공하는 것.
• 벤치마크, 모델의 일반화 능력, CPM의 이론적 이해에 대한 열린 과제를 부각하는 것.
• 3D 기하 구조 모델링, 통합 아키텍처, 단일 분자 작업을 초월한 응용 분야 등 아직 탐색되지 않은 방향을 규명함으로써 향후 연구를 이끌어내는 것.

제안 방법

• CPMs에서 사용되는 분자의 서술자, 즉 지문, SMILES 시퀀스, 2D/3D 그래프 구조 및 각각의 인코딩 방법을 체계적으로 분류한다.
• 그래프 신경망(GNNs), 트랜스포머(GROVER, Graphomer 등), 메시지 전달과 주목적 메커니즘을 통합한 하이브리드 모델 등 인코더 아키텍처를 검토한다.
• 대비 학습(GraphCL, GraphMVP 등), 마스킹 오토에인코더(MCM 등), 분자 그래프를 위한 자기지도 학습 목표 등을 포함한 사전 학습 전략을 분석한다.
• 분자 성질 예측, 약물-타겟 상호작용, 약물-약물 상호작용 예측 등 다양한 후행 작업에서 CPMs의 성능을 평가한다.
• 스케일드 분할 및 Therapeutics Data Commons(TDC) 벤치마크의 활용을 통해 분포 외 일반화 능력을 강조하는 평가 프레임워크를 제안한다.
• 일관되지 않은 평가 프로토콜과 CPMs의 이론적 기초 부족으로 인한 방법론적 격차를 비판적 분석을 통해 규명한다.

실험 결과

연구 질문

• RQ1 주요 분자 표현 기법은 무엇이며, 그들의 인덕티브 바이어스에서 어떻게 다릅니까?
• RQ2 GNNs와 트랜스포머 등 서로 다른 인코더 아키텍처는 분자의 구조와 성질을 어떻게 포착합니까?
• RQ3 일반화 가능한 분자 표현을 학습시키기 위해 가장 효과적인 사전 학습 목표는 무엇입니까?
• RQ4 어떤 CPMs가 분포 외 분자에 대해 일반화에 실패하는지, 그리고 이를 어떻게 완화할 수 있습니까?
• RQ5 CPM의 실생활 응용에 대한 보급을 저해하는 주요 벤치마크 및 이론적 이해의 격차는 무엇입니까?

주요 결과

• CPMs는 대규모의 레이블이 없는 분자 데이터를 사전 학습에 활용함으로써 데이터 의존도를 크게 감소시키며, 후행 작업에서 최소한의 토닝으로도 뛰어난 성능을 달성한다.
• 성공에도 불구하고 CPMs는 작은 분자 데이터셋(예: MoleculeNet에 포함된 데이터셋)에서 랜덤 시드 및 데이터셋 분할 방식의 변동으로 인해 일관되지 않은 평가 결과를 보이며, 이는 문제를 야기한다.
• 모순된 결과가 존재한다—예를 들어, 인기 있는 그래프 주목적 네트워크(GATs)가 때로는 성능이 열등할 수 있다—이를 통해 더 나은 아키텍처 설계와 목표의 일치가 필요함을 시사한다.
• 대비 학습과 마스킹 오토에인코딩이 주요 사전 학습 전략이지만, 그 효과는 작업에 따라 다를 수 있으며, 일부 연구에서는 특정 설정에서 비사전 학습 모델보다도 뛰어난 성능을 내지 못할 수 있음을 의심한다.
• Therapeutics Data Commons(TDC)는 다양한 치료적 작업에서 CPMs를 평가할 수 있는 유망한 현실적인 벤치마크를 제공하며, 분포 외 일반화 테스트를 지원한다.
• CPMs에 대한 이론적 기초가 극히 부족하며, 특정 사전 학습 목표가 왜 더 나은 후행 성능을 내는지에 대한 이해가 미흡하여, 방법론적 신뢰성과 보편적 보급에 장애가 된다.