[논문 리뷰] SMILES-X: autonomous molecular compounds characterization for small datasets without descriptors

G. Lambard, Ekaterina Gracheva|arXiv (Cornell University)|2019. 06. 20.

Machine Learning in Materials Science참고 문헌 65인용 수 26

한 줄 요약

SMILES-X는 소규모 데이터셋에서 SMILES 문자열만을 입력으로 사용하여 자율적인 분자 성질 예측을 위한 새로운 신경망 아키텍처이다. SMILES 증강, 주의 기반 해석 가능성과 함께 {임bed-인코딩-어텐션-예측} 구조를 가진 맞춤형 트랜스포머 유사 아키텍처, 베이지안 하이퍼파ram터 최적화를 활용하여 수용성( RMSE ≈ 0.57 mols/L), 수화 자유 에너지( RMSE ≈ 0.81 kcal/mol), LogD( RMSE ≈ 0.59) 예측에서 최신 기술 수준의 성능을 달성하였으며, 수동으로 설계된 기술적 특성 또는 대규모 데이터셋에 의존하지 않는다.

ABSTRACT

There is more and more evidence that machine learning can be successfully applied in materials science and related fields. However, datasets in these fields are often quite small ($\ll1000$ samples). It makes the most advanced machine learning techniques remain neglected, as they are considered to be applicable to big data only. Moreover, materials informatics methods often rely on human-engineered descriptors, that should be carefully chosen, or even created, to fit the physicochemical property that one intends to predict. In this article, we propose a new method that tackles both the issue of small datasets and the difficulty of task-specific descriptors development. The SMILES-X is an autonomous pipeline for molecular compounds characterisation based on a \{Embed-Encode-Attend-Predict\} neural architecture with a data-specific Bayesian hyper-parameters optimisation. The only input to the architecture -- the SMILES strings -- are de-canonicalised in order to efficiently augment the data. One of the key features of the architecture is the attention mechanism, which enables the interpretation of output predictions without extra computational cost. The SMILES-X shows new state-of-the-art results in the inference of aqueous solubility ($\overline{RMSE}_{test} \simeq 0.57 \pm 0.07$ mols/L), hydration free energy ($\overline{RMSE}_{test} \simeq 0.81 \pm 0.22$ kcal/mol, which is $\sim 24.5\%$ better than molecular dynamics simulations), and octanol/water distribution coefficient ($\overline{RMSE}_{test} \simeq 0.59 \pm 0.02$ for LogD at pH 7.4) of molecular compounds. The SMILES-X is intended to become an important asset in the toolkit of materials scientists and chemists. The source code for the SMILES-X is available at \href{https://github.com/GLambard/SMILES-X}{github.com/GLambard/SMILES-X}.

연구 동기 및 목표

• 소재 과학에서 흔한 소규모 분자 데이터셋(<1000개 샘플)에서 딥 러닝 모델을 훈련하는 데 도전하는 것.
• 원시적인 SMILES 문자열을 입력으로 사용하여 수동으로 설계된 분자 기술적 특성의 필요성을 제거하는 것.
• 추가 훈련 없이도 화학적으로 관련 있는 조각을 강조하는 주의 메커니즘을 통해 예측의 해석 가능성을 보장하는 것.
• 베이지안 최적화를 사용하여 각 데이터셋에 맞는 모델 하이퍼파ram터를 자동으로 최적화하는 종단 간 엔드 투 엔드 자동화 파이프라인 개발.
• 수용성, 수화 자유 에너지, 지질성과 같은 핵심 물리화학적 성질 예측에서 최신 기술 수준의 성능 달성.

제안 방법

• 데이터 다양성을 높이기 위해 SMILES 증강을 통해 비표준화된 SMILES 문자열을 유일한 입력 표현으로 사용한다.
• 소규모 데이터셋에서 일반화 성능을 향상시키기 위해 데이터에 특화된 베이지안 최적화를 적용하여 신경망 하이퍼파ram터를 튜닝한다.
• 주의 메커니즘을 갖춘 {임bed-인코딩-어텐션-예측} 신경망 아키텍처를 사용하여 예측 중 관련 있는 분자 조각에 집중한다.
• 주의 가중치를 활용하여 예측의 실시간, 모델 독립적인 해석 가능성을 확보하며, 영향력 있는 SMILES 토큰을 강조한다.
• SMILES가 한 토큰씩 읽히는 동안 예측이 어떻게 변화하는지 추적하기 위해 시간 상대 거리(Tdist)를 사용하여 구조적 영향에 대한 동적 통찰을 제공한다.
• 주의 기반 특성 선택을 통해 핏팅 파ram터 수를 최소화하여 모델 복잡성과 과적합 위험을 감소시킨다.

실험 결과

연구 질문

• RQ1 수동으로 설계된 기술적 특성을 사용하지 않고도 딥 러닝 모델이 분자 물리화학적 성질 예측에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 비표준화 및 재색인화를 통한 SMILES 증강이 소규모 데이터셋에서 모델 일반화에 얼마나 효과적인가?
• RQ3 경량 신경망 아키텍처 내 주의 메커니즘이 추가 훈련 없이 얼마나 높은 해석 가능성의 예측을 제공할 수 있는가?
• RQ4 베이지안 하이퍼파ram터 최적화가 무작위 또는 그리드 서치에 비해 소규모 분자 데이터셋에서 성능 향상에 얼마나 뚜렷한 기여를 하는가?
• RQ5 SMILES-X 파이프라인은 MoleculeNet과 같은 벤치마크 데이터셋에서 기존 방법에 비해 수용성, 수화 자유 에너지, LogD 예측에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• ESOL 데이터셋에서 수용성 예측에 대해 SMILES-X는 테스트 RMSE 0.57 ± 0.07 mols/L를 기록하여 새로운 최신 기술 수준을 수립하였다.
• FreeSolv 데이터셋에서 수화 자유 에너지 예측에 대해 SMILES-X는 RMSE 0.81 ± 0.22 kcal/mol을 기록하였으며, 분자 역학 시뮬레이션 대비 24.5% 향상된 성능을 보였다.
• 지질성 데이터셋에서 pH 7.4에서의 LogD 예측에 대해 SMILES-X는 RMSE 0.59 ± 0.02를 기록하여 지질성 예측에서 매우 높은 정확도를 입증하였다.
• 주의 메커니즘이 페놀 화합물의 산소 원자를 포함한 화학적으로 관련 있는 조각을 수화 자유 에너지 예측에서 가장 영향력 있는 것으로 성공적으로 식별하였다.
• 시간 상대 거리(Tdist) 분석 결과, 예측이 매우 빠르게 안정화되며, SMILES 문자열의 첫 번째 몇 토큰만 처리해도 뚜렷한 수렴이 관찰되었다.
• 표준화되지 않은 SMILES 증강은 그래프 기반 아키텍처에서는 구현이 어려운 성능 향상(비표준화 대 증강)을 가져왔다.