[논문 리뷰] Lo-Hi: Practical ML Drug Discovery Benchmark

Simon Steshin|arXiv (Cornell University)|2023. 10. 10.

Computational Drug Discovery Methods인용 수 5

한 줄 요약

이 논문은 약물 발굴의 실제적인 기계학습 벤치마크인 Lo-Hi를 소개한다. Lo-Hi는 두 가지 서로 다른 실생활 과제를 분리한다: 새로운 구조적 특성을 가진 분자의 성질을 예측하는 데 중점을 두는 히트 식별(Hit Identification, Hi)과 기존의 활성 화합물의 미세한 구조적 수정을 목표로 하는 리드 최적화(Lead Optimization, Lo). 저자는 균형 잡힌 정점 최소 $k$-컷 문제를 기반으로 한 새로운 분자 분할 알고리즘을 제안하여 현실적이고 겹치지 않는 데이터셋을 생성하였으며, 이는 모델이 이 두 과제에서 상당히 다른 성능을 보임을 드러내었다. 특히 Hi 과제에서는 Chemprop가 다른 모델들을 압도적으로 뛰어넘었고, Lo 과제에서는 SVM에 ECFP4 특징을 사용한 모델이 뛰어난 성능을 보였다.

ABSTRACT

Finding new drugs is getting harder and harder. One of the hopes of drug discovery is to use machine learning models to predict molecular properties. That is why models for molecular property prediction are being developed and tested on benchmarks such as MoleculeNet. However, existing benchmarks are unrealistic and are too different from applying the models in practice. We have created a new practical \emph{Lo-Hi} benchmark consisting of two tasks: Lead Optimization (Lo) and Hit Identification (Hi), corresponding to the real drug discovery process. For the Hi task, we designed a novel molecular splitting algorithm that solves the Balanced Vertex Minimum $k$-Cut problem. We tested state-of-the-art and classic ML models, revealing which works better under practical settings. We analyzed modern benchmarks and showed that they are unrealistic and overoptimistic. Review: https://openreview.net/forum?id=H2Yb28qGLV Lo-Hi benchmark: https://github.com/SteshinSS/lohi_neurips2023 Lo-Hi splitter library: https://github.com/SteshinSS/lohi_splitter

연구 동기 및 목표

• 기존의 벤치마크에서의 격차를 보완하기 위해 실제 약물 발굴 워크플로우에서 분자의 성질 예측을 위한 현실적인 평가 프레임워크를 마련하는 것.
• 왜 MoleculeNet과 같은 현재의 벤치마크들이 과도하게 낙관적이며 실제 약물 발굴의 과제를 반영하지 못하는지 규명하는 것.
• 분자의 신규성과 겹침이 없는 것을 보장하는 새로운 데이터셋 분할 방법을 개발하여 실제 스크리닝 조건을 시뮬레이션하는 것.
• 최신 기계학습 모델들과 전통적인 기계학습 모델들을 현실적인 Hi 및 Lo 시나리오에서 평가하여 각 과제에 가장 적합한 아키텍처를 파악하는 것.
• 모델 성능이 과제의 맥락에 따라 상당히 다름을 입증함으로써, 높은 벤치마크 점수는 실제 응용 가능성을 의미하지는 않는다는 가정을 도전하는 것.

제안 방법

• 실제 약물 발굴 단계를 반영하는 두 가지 서로 다른 과제인 히트 식별(Hi)과 리드 최적화(Lo)를 포함하는 새로운 벤치마크 프레임워크를 제안.
• 균형 잡힌 정점 최소 $k$-컷 문제를 해결하기 위해 정수선형계획법 기반의 새로운 분자 분할 알고리즘을 설계하여, 겹치지 않고 다양한 실제 데이터셋을 보장.
• 실제 분자 데이터를 사용하여 Hi 및 Lo 과제를 위한 일곱 개의 새로운 실용적 데이터셋을 구축하였으며, 신규성과 구조적 다양성을 유지하기 위해 철저한 필터링을 수행.
• AUC-PR 및 스피어만 상관관계와 같은 표준화된 지표를 사용하여 XGBoost, SVM, MLP, Chemprop, Graphormer 등의 다양한 모델을 두 과제에서 평가.
• 랜덤 서치와 조기 정지 기반의 하이퍼파rameter 튜닝을 적용하고, 데이터 유출을 방지하기 위해 검증 성능에 기반한 모델 선택을 실시.
• Lo 과제에 대해 클러스터 기반 평가를 적용하여, 분자 클러스터 내에서 스피어만 상관관계를 계산하고 클러스터 간 평균을 내어 실제 최적화 맥락을 반영.

Figure 1: Hit Identification (Hi) task

실험 결과

연구 질문

• RQ1 최신 기계학습 모델들과 전통적인 기계학습 모델들이 실제 약물 발굴 조건에서 평가되었을 때, 특히 새로운 분자를 기존의 활성 분자와 구별하는 데 얼마나 잘 성능을 내는가?
• RQ2 MoleculeNet과 같은 기존의 벤치마크가 비현실적인 데이터 분할과 과제 설정으로 인해 모델 성능을 과도하게 높게 평가하는 정도는 어느 정도인가?
• RQ3 히트 식별과 리드 최적화의 요구사항이 다름을 감안할 때, 어떤 기계학습 아키텍처가 각각의 과제에 가장 적합한가?
• RQ4 균형 잡힌 정점 최소 $k$-컷 문제를 기반으로 한 새로운 분자 분할 알고리즘이 기존의 랜덤 또는 스카포드 분할보다 더 현실적이고 실용적인 벤치마크 데이터셋을 생성할 수 있는가?
• RQ5 Lo 과제에서는 클러스터 기반 스피어만 상관관계를, Hi 과제에서는 표준 AUC-PR을 사용해 평가했을 때 모델 성능가 어떻게 달라지며, 이는 실무에서의 모델 선택에 어떤 함의를 갖는가?

주요 결과

• Lo-Hi 벤치마크는 MoleculeNet 스타일의 벤치마크에 최적화된 모델들이 실제로 새로운 분자에 일반화하는 데 실패함을 드러내며, 현재의 벤치마크가 과도하게 낙관적임을 시사한다.
• Chemprop는 Hi 과제에서 일관되게 다른 모델들을 앞서며, HIV-Hi에서 0.92, DRD2-Hi에서 0.88의 AUC-PR을 기록하여 최고 성능을 보였다.
• Lo 과제에서는 ECFP4 특징을 사용한 SVM이 평균 스피어만 상관관계 0.78(표현 KDR-Lo)를 기록하며, Graphormer나 Chemprop와 같은 딥러닝 모델들을 크게 앞섰다.
• 균형 잡힌 정점 최소 $k$-컷 문제를 기반으로 한 새로운 분자 분할 알고리즘은 겹치지 않고 다양한 데이터셋을 성공적으로 생성하여 실제 스크리닝 조건을 더 잘 반영하였다.
• Graphormer는 낮은 성능과 심각한 기술적 문제(의존성 문제, 느린 학습)를 보였으며, 아키텍처의 정교함에도 불구하고 실용성에 한계가 있었다.
• 본 연구는 모델 선택이 과제에 따라 달라져야 한다는 점을 입증하였다: Hi는 새로운 구조에 대한 강력한 일반화 능력이 필요한 반면, Lo는 미세한 화학적 변화에 높은 민감도가 요구된다.

Figure 2: Lead Optimization (Lo) task