[논문 리뷰] ImDrug: A Benchmark for Deep Imbalanced Learning in AI-aided Drug Discovery

Lanqing Li, Liang Zeng외 12명|arXiv (Cornell University)|2022. 09. 16.

Imbalanced Data Classification Techniques인용 수 7

한 줄 요약

ImDrug는 인공지능 기반 신약개발(AIDD) 분야에서의 딥 데브리어드 러닝을 위한 종합적인 벤치마크를 소개한다. 이 벤치마크는 11개의 AI-준비된 데이터셋, 54개의 학습 과제, 4개의 불균형 설정에서 16개의 베이스라인 알고리즘을 포함한다. 불균형 데이터에서 표준 평가 지표인 정확도가 과도하게 낙관적인 경향이 있음을 입증하고, 더 신뢰할 수 있는 대안으로 균형 잡힌 정확도와 F1 스코어를 제안하며, 실제 분포 이탈 상황에서 기존 모델의 성능 격차가 뚜렷하게 드러남을 보여준다.

ABSTRACT

The last decade has witnessed a prosperous development of computational methods and dataset curation for AI-aided drug discovery (AIDD). However, real-world pharmaceutical datasets often exhibit highly imbalanced distribution, which is overlooked by the current literature but may severely compromise the fairness and generalization of machine learning applications. Motivated by this observation, we introduce ImDrug, a comprehensive benchmark with an open-source Python library which consists of 4 imbalance settings, 11 AI-ready datasets, 54 learning tasks and 16 baseline algorithms tailored for imbalanced learning. It provides an accessible and customizable testbed for problems and solutions spanning a broad spectrum of the drug discovery pipeline such as molecular modeling, drug-target interaction and retrosynthesis. We conduct extensive empirical studies with novel evaluation metrics, to demonstrate that the existing algorithms fall short of solving medicinal and pharmaceutical challenges in the data imbalance scenario. We believe that ImDrug opens up avenues for future research and development, on real-world challenges at the intersection of AIDD and deep imbalanced learning.

연구 동기 및 목표

• 실제 약물 개발 데이터셋에서 흔히 발생하지만 간과되는 데이터 불균형 문제를 해결하기 위해.
• 다양한 AIDD 과제에서 딥 데브리어드 러닝 알고리즘을 평가하기 위한 표준화되고 접근 가능하며 커스터마이징 가능한 벤치마크를 제공하기 위해.
• 불균형 분포 하에서 전통적인 평가 지표인 정확도와 AUROC의 한계를 평가하고 더 견고한 대안을 제안하기 위해.
• 실제 약물 개발 과제의 도전 과제를 반영하기 위해, 외부 분포(OOD) 및 장꼬리 분포 분할 상황에서 기존 모델의 성능 저하를 조사하기 위해.
• 실제 AIDD 시나리오에서 현재 알고리즘의 한계를 드러내어 데브리어드 러닝 분야의 혁신을 이끌기 위해.

제안 방법

• ImDrug는 분자의 모델링, 약물-타겟 상호작용, 역합성 등 다양한 분야를 아우르는 11개의 AI-준비된 데이터셋을 기반으로 한 벤치마크를 구성하며, 각 데이터셋은 다수의 학습 과제를 포함한다.
• 네 가지 불균형 설정을 구현: 표준 불균형 분류, 개방형 장꼬리 분류, 불균형 회귀, 장꼬리 인식.
• 벤치마크는 세 가지 유형으로 분류된 16개의 베이스라인 알고리즘을 포함: 클래스 재균형, 데이터 증강, 모듈 개선.
• 오늘날의 외부 분포(OOD) 시나리오를 모의하기 위해 스캐폴드, 시간적, 기타 5종의 새로운 데이터 분할 함수를 도입하여 더 견고한 평가를 가능하게 한다.
• 균형 잡힌 정확도와 균형 잡힌 F1 스코어라는 새로운 평가 지표를 제안하고 평가하며, 이 지표들이 균형 잡힌 테스트 세트에서 금표 AUROC와 강하게 상관됨을 입증한다.
• 실증적 평가에서는 피어슨 상관계수 분석을 통해 제안된 지표가 불균형 테스트 세트에서 표준 지표에 비해 얼마나 신뢰할 수 있는지 검증한다.

실험 결과

연구 질문

• RQ1 ImDrug는 데이터 불균형과 분포 이탈 상황에서 실질적인 AI-aided drug discovery 과제의 유의미한 대체자로 기능할 수 있는가?
• RQ2 AIDD 분야의 매우 불균형한 테스트 세트에서 전통적인 평가 지표인 정확도와 AUROC는 여전히 신뢰성 있고 민감한가?
• RQ3 기존의 딥 러닝 베이스라인은 AIDD 데이터셋에서 스캐폴드 및 시간적 분할과 같은 실제 OOD 분할 상황에서 어떻게 성능을 발휘하는가?
• RQ4 제안된 균형 잡힌 지표(균형 잡힌 정확도 및 F1)가 균형 잡힌 테스트 세트에서 금표 AUROC와 얼마나 일치하는가?
• RQ5 표준 분할과 OOD 분할 간의 성능 격차는 무엇이며, 이는 현재 AIDD 분야의 데브리어드 러닝 접근법에 근본적인 한계를 드러내는가?

주요 결과

• 특히 스캐폴드 및 시간적 분할을 포함한 OOD 분할은 균형 잡힌 정확도에서 평균 1.22%의 성능 저하와 MAE에서 2.03%의 증가를 유도하며, 실제 분포 이탈 상황에서의 심각한 성능 저하를 보여준다.
• 일반 정확도는 균형 잡힌 테스트 세트에서 AUROC와 약한 상관관계(피어슨의 R = 0.2092)를 보이며, 불균형 데이터에서 과도하게 낙관적인 경향이 있음을 시사한다.
• 불균형 테스트 세트에서 균형 잡힌 정확도는 제안된 균형 잡힌 F1 스코어와 거의 완벽한 일치(피어슨의 R = 0.9999)를 보이며, 이는 평가 지표로서의 신뢰성과 타당성을 입증한다.
• 균형 잡힌 표준 분할에서의 AUROC는 불균형 랜덤 분할에서의 균형 잡힌 정확도와 중간 정도의 상관관계(R = 0.4364)를 보이며, AUROC가 여전히 더 안정적인 금표로 남아 있음을 시사한다.
• 벤치마크는 현재 알고리즘이 실질적인 불균형 및 OOD 상황을 다루는 데서 부족함을 드러내며, 개선된 방법이 절실한 필요성을 강조한다.
• ImDrug의 오픈소스 플랫폼과 다양한 분할 함수는 신약 개발 분야에서 데브리어드 러닝 모델의 더 현실적이고 통계적으로 신뢰할 수 있는 평가를 가능하게 한다.