[논문 리뷰] MoleHD: Automated Drug Discovery using Brain-Inspired Hyperdimensional Computing.

Dongning Ma, Xun Jiao|arXiv (Cornell University)|2021. 06. 05.

Ferroelectric and Negative Capacitance Devices참고 문헌 19인용 수 4

한 줄 요약

MoleHD는 신경망 기반의 접근 방식과는 달리, 뇌에 영감을 받은 초차원 계산(HDC) 기반의 방법을 제안하여 분자의 성질 예측을 수행한다. SMILES 문자열을 SMILE-PE 토크나이저를 사용해 인코딩하고, 이를 초차원 벡터로 변환함으로써 성능을 향상시킨다. 이 방법은 30개의 분류 과제에서 10개의 기준 모델(중 6개는 최신 신경망 모델)을 모두 능가하며, 계산 비용을 크게 줄였다. 이는 약물 발견 분야에서 HDC 기반의 방법이 처음으로 성공적으로 적용된 사례이다.

ABSTRACT

Modern drug discovery is often time-consuming, complex and cost-ineffective due to the large volume of molecular data and complicated molecular properties. Recently, machine learning algorithms have shown promising results in virtual screening of automated drug discovery by predicting molecular properties. While emerging learning methods such as graph neural networks and recurrent neural networks exhibit high accuracy, they are also notoriously computation-intensive and memory-intensive with operations such as feature embeddings or deep convolutions. In this paper, we propose a viable alternative to neural network classifiers. We present MoleHD, a method based on brain-inspired hyperdimensional computing (HDC) for molecular property prediction. We first transform the SMILES presentation of molecules into feature vectors by SMILE-PE tokenizers pretrained on the ChEMBL database. Then, we develop HDC encoders to project such features into high-dimensional vectors that are used for training and inference. We perform an extensive evaluation using 30 classification tasks from 3 widely-used molecule datasets and compare MoleHD with 10 baseline methods including 6 SOTA neural network classifiers. Results show that MoleHD is able to outperform all the baseline methods on average across 30 classification tasks with significantly reduced computing cost. To the best of our knowledge, we develop the first HDC-based method for drug discovery. The promising results presented in this paper can potentially lead to a novel path in drug discovery research.

연구 동기 및 목표

• 분자 성질 예측에서 딥러닝 모델의 높은 계산 및 메모리 요구량 문제를 해결한다.
• 약물 발견 분야에서 신경망의 저비용 대안으로 뇌에 영감을 받은 초차원 계산(HDC)을 탐색한다.
• 분자의 고차원 벡터 표현을 활용해 확장 가능하고 효율적인 가상 스크리닝 방법을 개발한다.
• HDC 기반 모델이 더 낮은 추론 및 학습 비용으로도 최신 성능을 달성할 수 있음을 입증한다.

제안 방법

• ChEMBL 데이터베이스에서 미리 훈련된 SMILE-PE 토크나이저를 사용해 분자의 SMILES 문자열을 토큰화된 표현으로 변환한다.
• 고유의 HDC 인코더를 사용해 토큰화된 특징을 고차원 이진 벡터로 인코딩한다.
• 생성된 고차원 벡터를 분류 과제에서의 학습 및 추론 입력으로 활용한다.
• 예측을 위해 HDC 인코딩된 벡터에 단순한 분류기(예: 코사인 유사도 또는 다数 투표)를 적용한다.
• HDC의 본질적인 강건성과 희소성 덕분에 효율적인 계산과 노이즈 내성에 유리하다.
• 세 가지 표준 데이터셋에서 온 30개의 다양한 분자 분류 과제에서 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 초차원 계산(HDC)이 딥러닝 모델보다 훨씬 낮은 계산 비용으로 분자 성질 예측 과제에서 승리할 수 있는가?
• RQ2 다양한 분자 분류 벤치마크에서 HDC 기반 모델의 성능은 최신 신경망 모델과 비교해 어떻게 되는가?
• RQ3 SMILE-PE 토크나이저와 HDC 인코딩을 조합했을 때 분자의 의미를 하류 예측 과제에서 얼마나 잘 유지하는가?
• RQ4 HDC 기반 모델은 화학적 공간 복잡도가 다른 다양한 분자 데이터셋 간에 일반화가 가능한가?

주요 결과

• MoleHD는 30개의 분자 분류 과제 평균에서 10개의 기준 모델(중 6개는 최신 신경망 분류기)을 모두 능가한다.
• 딥러닝 모델 대비 계산 및 메모리 요구량을 크게 줄였음에도 불구하고 뛰어난 또는 경쟁 가능한 성능을 달성한다.
• SMILE-PE 토크나이저의 사용은 SMILES 문자열에서 효과적인 특징 추출을 가능하게 하여 HDC 인코딩의 견고한 기반을 마련한다.
• MoleHD는 다양한 데이터셋에 걸쳐 강력한 일반화 능력을 보이며, HDC 표현의 뛰어난 이행성(transferability)을 입증한다.
• 초차원 계산이 약물 발견 파이프라인에서 딥러닝의 실현 가능하고 효율적인 대안으로 검증된다.
• 본 연구는 HDC를 분자 성질 예측에 성공적으로 적용한 최초의 사례로, 자동 약물 발견 분야에 새로운 길을 열었다.