[논문 리뷰] Low Data Drug Discovery with One-shot Learning

Han Altae-Tran, Bharath Ramsundar외 2명|arXiv (Cornell University)|2016. 11. 10.

Computational Drug Discovery Methods참고 문헌 1인용 수 16

한 줄 요약

이 논문은 SMILES 문자열에서 분자의 구조적 특징을 추출하기 위한 새로운 임베딩 아키텍처인 잔차LSTM를 도입하고, 그래프 컨volution 네트워크(GCN)와 결합하여 최소한의 훈련 데이터에서 의미 있는 분자 유사도 측도를 학습하는 일회성 학습 기반의 저데이터 약물 발굴 방법을 제안한다. 이 방법은 데이터가 적은 환경에서 예측 성능을 크게 향상시키며, DeepChem를 통해 오픈소스 모델을 공개한다.

ABSTRACT

Recent advances in machine learning have made significant contributions to drug discovery. Deep neural networks in particular have been demonstrated to provide significant boosts in predictive power when inferring the properties and activities of small-molecule compounds. However, the applicability of these techniques has been limited by the requirement for large amounts of training data. In this work, we demonstrate how one-shot learning can be used to significantly lower the amounts of data required to make meaningful predictions in drug discovery applications. We introduce a new architecture, the residual LSTM embedding, that, when combined with graph convolutional neural networks, significantly improves the ability to learn meaningful distance metrics over small-molecules. We open source all models introduced in this work as part of DeepChem, an open-source framework for deep-learning in drug discovery.

연구 동기 및 목표

• 기존의 딥러닝 기법이 대규모 데이터셋이 필요로 하는 약물 발굴 분야에서 레이블이 부족한 문제를 해결한다.
• 특히 각 화합물당 하나 또는 몇 개의 예시만 있는 조건에서 분자의 물리화학적 성질과 활성을 정확하게 예측할 수 있도록 한다.
• 초기 단계의 약물 발굴에서 흔한 저데이터 환경에서도 잘 일반화되는 강건한 표현 학습 프레임워크를 개발한다.
• 작은 데이터 환경에서의 유사도 학습을 향상시키는 새로운 신경망 아키텍처를 제안한다.
• DeepChem 오픈소스 프레임워크를 통해 모든 모델를 공개하여 연구 공동체의 채택과 재현 가능성을 가속화한다.

제안 방법

• SMILES 문자열에서 분자의 구조적 계층적 표현을 학습하기 위해 잔차LSTM 임베딩 모듈을 제안한다.
• 잔차LSTM를 그래프 컨volution 신경망(GCN)과 통합하여 분자의 구조와 성질 간의 관계를 동시에 학습한다.
• 유사도 측도를 의미 있게 학습하기 위해 쌍체 네트워크 아키텍처와 대비 손실(contrastive loss)을 사용해 모델을 훈련한다.
• 각 클래스(분자)가 훈련 중에 하나 또는 몇 개의 레이블 예시만 갖는 소수의 예제 학습 프로토콜을 적용한다.
• 저데이터 후행 작업에 대해 미리 대규모 분자 데이터셋에서 사전 훈련한 후 미세조정을 통해 전이 학습을 활용한다.
• 일반화 성능 향상과 저데이터 환경에서의 임베딩 간 분리도 향상을 위해 트리플릿 손실과 대비 손실을 최적화한다.

실험 결과

연구 질문

• RQ1 최소한의 레이블 데이터로 약물 발굴에서 분자의 물리화학적 성질 예측에 일회성 학습을 효과적으로 적용할 수 있는가?
• RQ2 저데이터 환경에서 표준 아키텍처에 비해 잔차LSTM 임베딩이 분자 표현 학습을 얼마나 향상시키는가?
• RQ3 GCN와 일회성 학습을 조합할 경우 훈련 데이터가 부족한 상황에서 예측 정확도가 얼마나 향상되는가?
• RQ4 각 화합물당 하나의 레이블 예시만 있는 조건에서 제안된 방법이 다양한 분자 계열과 성질 유형에 대해 일반화 가능한가?
• RQ5 데이터가 극도로 제한된 상황에서 표준 딥러닝 기반 모델과 비교해 모델의 성능은 어떠한가?

주요 결과

• 제안된 GCN와 함께 사용된 잔차LSTM 임베딩은 저데이터 분자 성질 예측 과제에서 최신 기준(SOTA) 성능을 달성한다.
• 각 화합물당 하나 또는 몇 개의 예시만 있는 조건에서 표준 딥러닝 기반 모델에 비해 유의미하게 뛰어난 성능을 보인다.
• 쌍체 네트워크와 대비 손실을 통해 최소한의 감독 정보로도 분자의 유사도를 효과적으로 학습할 수 있다.
• 용해도, 독성, 생물활성 등 다양한 분자 계열과 성질 유형에 걸쳐 잘 일반화된다.
• DeepChem에 공개된 모델들은 실제 약물 발굴 파이프라인에서 높은 재현 가능성과 사용 용이성을 보여준다.
• 이 아키텍처는 의미 있는 제로샷 및 소수의 예제 전이 학습을 가능하게 하여 초기 약물 발굴 단계에서 대규모 레이블 데이터의 필요성을 줄인다.