[논문 리뷰] SparseChem: Fast and accurate machine learning model for small molecules

Ádám Arany, Jaak Simm외 2명|arXiv (Cornell University)|2022. 03. 09.

Computational Drug Discovery Methods인용 수 6

한 줄 요약

SparseChem은 ECFP 필터프린트와 같은 고차원 희소 분자 데이터를 위한 빠르고 확장 가능한 기계학습 프레임워크로, 분류, 회귀 및 캐논된 회귀를 위한 효율적인 다중작업 학습을 가능하게 한다. V100 GPU에서 42만 개 화합물에 대한 3,500개의 작업을 단 2분 만에 학습하며, AUC-ROC 0.794 및 R² 0.358를 기록한 벤치마크 데이터셋에서 최고 성능을 보였다.

ABSTRACT

SparseChem provides fast and accurate machine learning models for biochemical applications. Especially, the package supports very high-dimensional sparse inputs, e.g., millions of features and millions of compounds. It is possible to train classification, regression and censored regression models, or combination of them from command line. Additionally, the library can be accessed directly from Python. Source code and documentation is freely available under MIT License on GitHub.

연구 동기 및 목표

• 약물 발굴에서 흔히 발생하는 고차원적이고 희소한 분자 데이터에 대해 정확한 기계학습 모델을 학습하는 데 도전하는 것.
• 효율적인 희소 신경망을 사용해 수백만 개의 특징과 수천 개의 작업을 다룰 수 있는 확장 가능한 다중작업 학습을 가능하게 하는 것.
• 분류, 회귀 및 캐논된 회귀를 포함한 다양한 학습 설정을 하나의 통합 프레임워크 내에서 지원하는 것.
• 실제 약물 발굴 파이프라인에 적합한 CPU 및 GPU 하드웨어에서 고속의 학습 및 추론을 제공하는 것.
• 광범위한 채택을 위해 명령행 인터페이스와 Python API를 통해 확장 가능하고 사용자 友好的한 접근을 제공하는 것.

제안 방법

• SparseChem은 ECFP 필터프린트와 같은 수백만 차원의 희소 특징 벡터를 효율적으로 처리할 수 있도록 희소 신경망 레이어를 입력 레이어로 사용한다.
• 관측된 출력 요소에 대해서만 기울기를 계산하는 희소 학습 손실을 사용하여 수천 개의 작업을 가진 효율적인 학습을 가능하게 한다.
• 내부 미니배칭을 통해 GPU 메모리에 들어갈 수 있는 것보다 더 큰 효과적 배치 크기를 허용하여 학습 효율성을 향상시킨다.
• 분류 및 (캐논된) 회귀 작업을 하나의 네트워크에서 결합하는 하이브리드 모델을 지원하여 일반화 능력과 학습 속도를 향상시킨다.
• 작업별 손실 함수를 구현: 분류에는 이진 교차엔트로피, 회귀에는 평균제곱오차, 상한선 또는 하한선이 있는 캐논된 회귀에는 한쪽 방향 제곱 손실을 사용한다.
• 작업별 가중치 설정이 가능하며, 각 작업에 대해 표준 평가 지표(AUC-ROC, AUC-PR, R², RMSE)를 계산하여 종합적인 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기계학습 프레임워크가 수백만 차원의 희소 분자 필터프린트를 효율적으로 처리하면서도 높은 예측 정확도를 유지할 수 있는가?
• RQ2 희소 신경망을 사용한 다중작업 학습이 약물 발굴의 QSAR 모델링 성능을 어떻게 향상시키는가?
• RQ3 캐논된 회귀 손실 함수가 상한선 또는 하한선이 있는 생물활성 데이터를 효과적으로 모델링할 수 있는가?
• RQ4 42만 개 화합물과 3,500개의 작업을 포함한 산업 규모의 데이터셋에서 딥러닝 프레임워크의 학습 속도와 확장성은 어떠한가?
• RQ5 단일 작업 학습에 비해 분류 및 회귀 작업을 함께 모델링하는 하이브리드 모델링 방식이 모델 성능을 얼마나 향상시키는가?

주요 결과

• SparseChem은 단일 NVIDIA V100 GPU에서 42만 개 화합물에 대해 3,500개의 작업을 단 2분 만에 학습하여 놀라운 학습 속도를 입증했다.
• CheMBL 29 데이터셋에서 분류 모델은 AUC-ROC 0.794 및 AUC-PR 0.717을 기록했으며, 분석 속도는 분당 12 에포크였다.
• 회귀 모델은 R² 0.358 및 피어슨 상관계수 0.620을 기록했으며, 동일한 하드웨어에서 분당 15 에포크의 속도로 학습되었다.
• 캐논된 회귀 모델은 R² 0.356 및 상관계수 0.621을 기록하여 표준 회귀 모델과 거의 동일한 성능를 보였다.
• 프레임워크는 최대 3만 개의 작업을 지원하며, 작업별 가중치 설정이 가능하여 보조 또는 우선순위가 높은 작업에 대한 정밀 조정이 가능하다.
• 시스템은 CPU 및 GPU에서 모두 전체 학습 및 추론을 지원하며, 명령행 인터페이스와 Python API를 통해 탄력적인 통합이 가능하다.