[논문 리뷰] MoleHD: Drug Discovery using Brain-Inspired Hyperdimensional Computing.

Dongning Ma, Rahul Thapa외 1명|arXiv (Cornell University)|2021. 09. 20.

Ferroelectric and Negative Capacitance Devices참고 문헌 28인용 수 6

한 줄 요약

MoleHD는 신경망 기반의 그래프나 순환 신경망과 비교해 계산 비용과 학습 노력이 크게 감소한 뇌에 영감을 받은 초차원 계산(HDC) 기반 접근법을 제안한다. 이 방법은 분자의 구조를 나타내는 SMILES 문자열을 고차원 벡터로 인코딩하여 효율적인 학습과 추론을 가능하게 한다. MoleHD는 Clintox, BBBP, SIDER 데이터셋에서 29개의 분류 과제에 대해 최신 기술(SOTA) 수준의 ROC-AUC 성능을 달성한다. 랜덤 및 스caffolding 분할에서는 최고 성능을 기록했고, 분层 분할에서는 두 번째로 높은 성능을 보였다. 이는 기존의 SOTA 기반 그래프 및 순환 신경망 모델보다 계산 비용과 학습 시간을 크게 줄였다.

ABSTRACT

Modern drug discovery is often time-consuming, complex and cost-ineffective due to the large volume of molecular data and complicated molecular properties. Recently, machine learning algorithms have shown promising results in virtual screening of automated drug discovery by predicting molecular properties. While emerging learning methods such as graph neural networks and recurrent neural networks exhibit high accuracy, they are also notoriously computation-intensive and memory-intensive with operations such as feature embeddings or deep convolutions. In this paper, we propose a viable alternative to existing learning methods by presenting \model, a method based on brain-inspired hyperdimensional computing (HDC) for molecular property prediction. We develop HDC encoders to project SMILES representation of a molecule into high-dimensional vectors that are used for HDC training and inference. We perform an extensive evaluation using 29 classification tasks from 3 widely-used molecule datasets (Clintox, BBBP, SIDER) under three splits methods (random, scaffold, and stratified). By an comprehensive comparison with 8 existing learning models including SOTA graph/recurrent neural networks, we show that MoleHD is able to achieve highest ROC-AUC score on random and scaffold splits on average across 3 datasets and achieve second-highest on stratified split. Importantly, MoleHD achieves such performance with significantly reduced computing cost and training efforts. To the best of our knowledge, this is the first HDC-based method for drug discovery. The promising results presented in this paper can potentially lead to a novel path in drug discovery research.

연구 동기 및 목표

• 기존의 딥러닝 모델이 약물 발굴에서 높은 계산 및 메모리 요구량을 가지는 문제를 해결하기 위해.
• 그래프 및 순환 신경망과 비교해 새로운 효율적인 대안으로 초차원 계산(HDC)이 분자의 성질 예측에 적용 가능한지 탐색하기 위해.
• 가상 스크리닝에서 예측 성능을 유지하거나 향상시키면서도 학습 시간과 자원 소비를 줄이기 위해.
• 표준 분자의 데이터셋에서 다양한 데이터 분할 방식(랜덤, 스caffolding, 분층)에 걸쳐 제안된 방법의 강건성 평가하기 위해.
• 약물 발굴을 위한 첫 번째 HDC 기반 프레임워크를 구축하여, 딥러닝의 확장 가능하고 효율적인 대안으로서의 잠재력을 입증하기 위해.

제안 방법

• MoleHD는 분자의 SMILES 표현을 고차원 이진 벡터로 변환하는 HDC 인코더를 사용하여 구조적 및 화학적 정보를 유지한다.
• 기존 신경망에서 흔히 사용되는 깊은 컨볼루션이나 특징 임bedding과 같은 고비용 연산을 피하기 위해, 학습 및 추론 모두에서 초차원 벡터를 사용한다.
• 벡터 덧셈 및 바인딩과 같은 표준 HDC 연산을 적용하여 인코딩된 벡터에서 분자의 성질 표현을 학습한다.
• 3개의 벤치마크 데이터셋인 Clintox, BBBP, SIDER에서 유래한 29개의 분류 과제에서 모델을 학습하고 평가한다.
• 일반화 및 강건성 평가를 위해 랜덤, 스caffolding, 분층의 세 가지 데이터 분할 전략을 사용한다.
• ROC-AUC를 주요 평가 지표로 삼아, 기존의 8개의 모델(최신 기술 기반 그래프 및 순환 신경망 포함)과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 초차원 계산은 약물 발굴에서 분자의 성질 예측에 효과적으로 적용될 수 있는가?
• RQ2 다양한 데이터 분할 전략에서 MoleHD의 ROC-AUC 성능는 최신 기술 기반 딥러닝 모델과 비교해 어떻게 되는가?
• RQ3 기존의 딥러닝 접근 방식과 비교해 MoleHD는 계산 비용과 학습 비용을 얼마나 줄일 수 있는가?
• RQ4 스caffolding 및 분층 분할을 포함한 다양한 데이터 분할 전략에서도 MoleHD는 강력한 성능을 유지하는가?
• RQ5 HDC는 약물 발굴의 가상 스크리닝에서 딥러닝의 실현 가능하고 확장 가능한 대안인가?

주요 결과

• MoleHD는 Clintox, BBBP, SIDER 세 데이터셋에서 랜덤 및 스caffolding 분할 전반에 걸쳐 평균 ROC-AUC 점수를 최고로 기록했다.
• 분층 분할에서는 평균 ROC-AUC 점수로 두 번째로 높은 성능를 기록하여 다양한 데이터 분포에 대한 뛰어난 일반화 능력을 입증했다.
• 기존의 딥러닝 모델, 특히 최신 기술 기반의 그래프 및 순환 신경망과 비교해 계산 비용과 학습 노력이 크게 감소했다.
• 모든 세 데이터셋에서 성능 향상이 일관되게 나타나, 다양한 분자의 성질 유형과 데이터 특성에 대해 강건함을 입증했다.
• MoleHD는 약물 발굴에 초차원 계산을 적용한 첫 번째 알려진 사례로, 분자의 성질 예측을 위한 새로운 효율적인 길을 열었다.
• 결과적으로 HDC 기반 방법은 훨씬 낮은 자원 요구량으로도 경쟁 가능한 성능을 제공할 수 있음을 시사하며, 더 빠르고 확장 가능한 가상 스크리닝을 가능하게 한다.