[논문 리뷰] CheMixNet: Mixed DNN Architectures for Predicting Chemical Properties using Multiple Molecular Representations

A.R. Paul, Dipendra Jha외 4명|arXiv (Cornell University)|2018. 11. 14.

Computational Drug Discovery Methods인용 수 28

한 줄 요약

CheMixNet는 화합물 성질 예측을 위해 SMILES 서열과 MACCS 분자 지문을 동시에 활용하는 혁신적인 혼합 딥 뉴럴 네트워크 아키텍처를 소개한다. 이는 6개의 데이터셋에서 최신 기술 수준을 초월하며, 230만 건의 샘플을 포함하는 하버드 클린 에너지 프로젝트 데이터셋에서 0.24% MAPE를 기록했다. 이는 RNN/CNN를 통한 시퀀스 모델링과 다중 입력 프레임워크 내의 벡터 기반 학습을 융합함으로써 달성된 결과이다.

ABSTRACT

SMILES is a linear representation of chemical structures which encodes the connection table, and the stereochemistry of a molecule as a line of text with a grammar structure denoting atoms, bonds, rings and chains, and this information can be used to predict chemical properties. Molecular fingerprints are representations of chemical structures, successfully used in similarity search, clustering, classification, drug discovery, and virtual screening and are a standard and computationally efficient abstract representation where structural features are represented as a bit string. Both SMILES and molecular fingerprints are different representations for describing the structure of a molecule. There exist several predictive models for learning chemical properties based on either SMILES or molecular fingerprints. Here, our goal is to build predictive models that can leverage both these molecular representations. In this work, we present CheMixNet -- a set of neural networks for predicting chemical properties from a mixture of features learned from the two molecular representations -- SMILES as sequences and molecular fingerprints as vector inputs. We demonstrate the efficacy of CheMixNet architectures by evaluating on six different datasets. The proposed CheMixNet models not only outperforms the candidate neural architectures such as contemporary fully connected networks that uses molecular fingerprints and 1-D CNN and RNN models trained SMILES sequences, but also other state-of-the-art architectures such as Chemception and Molecular Graph Convolutions.

연구 동기 및 목표

• 데이터 기반 딥 러닝을 활용해 재료 발견의 성능 저하 문제를 해결하고 성질 예측 속도를 향상시키기 위해.
• 단일 표현 방식 모델(예: SMILES 전용 또는 지문 전용)의 한계를 극복하여 상호 보완적인 구조적 특징과 지문 기반 특징을 포괄하지 못하는 문제를 해결하기 위해.
• 시퀀스(예: SMILES)와 벡터(예: 지문)로 표현된 분자 표현 방식을 통합한 통합된 딥 러닝 프레임워크를 개발하여 예측 성능 향상에 기여하기 위해.
• 대규모 및 소규모 데이터셋에서 다양한 화합물 성질 예측 작업(분류 및 회귀)에 대해 일반화 성능을 입증하기 위해.
• 다양한 표현 방식을 통합한 학습의 새로운 기준을 설정하고, 커뮤니티가 활용할 수 있도록 오픈소스로 제공하기 위해.

제안 방법

• SMILES를 순서 기반 텍스트로, MACCS 지문을 고정 길이의 비트 벡터로 처리하는 다중 입력 단일 출력(MISO) 딥 뉴럴 네트워크 아키텍처를 사용한다.
• 1D 컨볼루션 및 순환 신경망(CNN/RNN)을 활용해 SMILES 서열에서 계층적 특징을 추출하여 국소적 및 장거리 구조 패턴을 포착한다.
• 완전 연결(FC) 레이어를 적용해 MACCS 지문의 고수준 사전 설계 특징(구조 조각 및 부분 구조를 코딩)을 학습한다.
• 두 스트림의 중간 표현을 연결(concatenation)하여 최종 회귀 또는 분류 헤드 이전에 융합한다.
• CEP(230만 건의 샘플 포함) 및 MoleculeNet 벤치마크를 포함한 여러 데이터셋에서 광범위한 초모델 튜닝을 통해 아키텍처를 최적화한다.
• 조기 정지와 학습률 스케줄링을 포함한 표준 딥 러닝 학습 프rotocol을 활용해 수렴성과 일반화 성능을 보장한다.

실험 결과

연구 질문

• RQ1 단일 딥 러닝 모델 내에서 SMILES 서열과 분자 지문을 융합함으로써, 단일 표현 방식 모델(예: SMILES 전용 또는 지문 전용)에 비해 화합물 성질 예측 정확도가 향상되는가?
• RQ2 서열(시퀀스)과 벡터 입력 유형에 대해 서로 다른 신경망 아키텍처(CNN, RNN 등)를 사용할 경우, 특징 학습 및 모델 성능 향상에 기여하는가?
• RQ3 Chemception 및 ConvGraph와 같은 최신 기술 수준의 모델들과 비교해 CheMixNet은 다양한 화합물 성질 예측 작업에서 어떻게 성능을 내는가?
• RQ4 혼합 입력 아키텍처는 대규모 데이터셋과 소규모 데이터셋, 분류 및 회귀 작업 간에 얼마나 잘 일반화되는가?
• RQ5 혼합 표현 방식의 성능 향상 요인은 입력 다양성 증가 때문인가, 아니면 각 표현 방식을 전용 네트워크로 처리하는 아키텍처 설계 때문인가?

주요 결과

• CheMixNet는 하버드 클린 에너지 프로젝트(CEP) 데이터셋에서 평균 절대 퍼센트 오차(MAPE)가 0.24%를 기록하여, SMILES 전용 RNN 기반 기준 모델(0.43% MAPE)을 크게 앞서는 성능을 보였다.
• MoleculeNet 벤치마크에서 CheMixNet는 모든 5개의 데이터셋에서 비교 모델(Chemception, ConvGraph, 완전 연결 네트워크 포함)을 모두 압도했으며, 분류(HIV, Tox21) 및 회귀(FreeSolv, ESOL) 작업 모두에서 뛰어난 성능을 보였다.
• Tox21 및 HIV 분류 작업에서는 완전 연결(FC) 모델이 기존 모델 중에서 가장 우수한 성능을 보였지만, CheMixNet의 혼합 아키텍처(CNN-RNN*FC 등) 역시 FC를 제외한 모든 모델을 능가하여 강력한 일반화 능력을 입증했다.
• FreeSolv 데이터셋에서는 CNN-RNN*FC 변종이 가장 뛰어난 성능을 보였고, ESOL 회귀 데이터셋에서는 RNN*FC가 다른 모델들을 능가하여 다양한 혼합 아키텍처가 작업에 따라 유리한 점을 지닌다는 점을 시사했다.
• CheMixNet는 단일 표현 모델(RNN를 통한 SMILES 또는 FC를 통한 지문)보다 일관되게 성능 향상을 보였으며, 다수의 표현 방식을 함께 학습함으로써 더 뛰어난 결과를 도출한다는 점을 입증했다.
• 모델의 아키텍처는 용해도, 독성, 밴드 갭 등 다양한 화합물 성질 유형에 대해 일반화 가능하며, 재료 과학 및 신약 개발 분야에서 넓은 적용 가능성을 보여준다.