[논문 리뷰] How Evaluation Choices Distort the Outcome of Generative Drug Discovery

Rıza Özçelik, Francesca Grisoni|arXiv (Cornell University)|2024. 12. 24.

Biotechnology and Related FieldsMedicine인용 수 3

한 줄 요약

이 논문은 생성적 약물 발견에서 평가 관행을 철저히 평가하며, 라이브러리 크기와 샘플링 전략이 성능 지표를 체계적으로 왜곡하여 분자의 품질에 대한 잘못된 결론을 이끌어내는 것으로 드러낸다. 10⁹개의 신규 설계를 대규모로 분석한 결과, 주요 함정을 밝혀내고 표준화된 평가 도구('treasures')를 도입하며, 모델 벤치마킹과 사전 실험 검증을 위한 높은 품질의 분자를 선택하는 데 실질적인 지침('ways out')을 제안한다.

ABSTRACT

"How to evaluate the de novo designs proposed by a generative model?" Despite the transformative potential of generative deep learning in drug discovery, this seemingly simple question has no clear answer. The absence of standardized guidelines challenges both the benchmarking of generative approaches and the selection of molecules for prospective studies. In this work, we take a fresh - critical and constructive - perspective on de novo design evaluation. By training chemical language models, we analyze approximately 1 billion molecule designs and discover principles consistent across different neural networks and datasets. We uncover a key confounder: the size of the generated molecular library significantly impacts evaluation outcomes, often leading to misleading model comparisons. We find increasing the number of designs as a remedy and propose new and compute-efficient metrics to compute at large-scale. We also identify critical pitfalls in commonly used metrics - such as uniqueness and distributional similarity - that can distort assessments of generative performance. To address these issues, we propose new and refined strategies for reliable model comparison and design evaluation. Furthermore, when examining molecule selection and sampling strategies, our findings reveal the constraints to diversify the generated libraries and draw new parallels and distinctions between deep learning and drug discovery. We anticipate our findings to help reshape evaluation pipelines in generative drug discovery, paving the way for more reliable and reproducible generative modeling approaches.

연구 동기 및 목표

• 현재 생성적 약물 발견 모델에 대한 평가 관행에서 임계적인 결함을 특정하고 폭 드러내는 것.
• 라이브러리 크기와 샘플링 전략이 생성된 분자의 품질에 대한 인식을 어떻게 왜곡하는지 조사하는 것.
• 생성 모델을 객관적으로 비교하기 위한 표준화되고 신뢰할 수 있는 평가 도구와 지표를 개발하는 것.
• 앞선 실험 검증을 위한 높은 품질, 신규성, 다양성을 갖춘 분자를 선택하는 데 실질적인 지침(‘ways out’)을 제공하는 것.
• 체계적인 평가 프레임워크를 구축하여 분자 설계와 딥러닝 간의 통합을 강화하는 것.

제안 방법

• ChEMBLv33의 150만 개 SMILES를 기반으로 훈련하고, DRD3, PIN1, VDR 3개의 생물활성 타겟에 대해 320개의 활성 분자로 구성된 5개의 무작위 분할을 사용해 세 가지 최첨단 화학 언어 모델(LSTM, GPT, S4)을 미세조정.
• 모델당 100만 개의 SMILES를 각 샘플링 전략과 하이퍼파라미터 설정에서 생성하여 총 22개의 샘플링 구성(온도, top-k, top-p)을 통해 약 10⁹개의 신규 분자를 생성.
• 구성된 평가 지표 세트를 사용해 설계 결과를 평가: 문법적 타당성, 유일성, 신규성, FCD(Fréchet ChemNet 거리), FDD(Fréchet 기초거리), 서브스트럭처 유사도(Tanimoto 거리 기반 ECFP), 내부 다양성(구역 배제), 설계 가능성(로그확률 곱).
• 평가 결과에 미치는 영향을 분석하기 위해 라이브러리 크기를 100에서 1,000,000까지 체계적으로 변화시킴. 특히 유사도 및 다양성 지표에 미치는 영향을 중심으로 분석.
• 온도, top-k, top-p 샘플링 전략을 적용하여 생성 전략이 분자의 품질과 분포의 정확성에 어떻게 영향을 미치는지 탐구.
• FDD 계산 전에 분자 기초값(logP, MW, HBD, 고리 수, PSA)에 대해 최소-최대 정규화를 적용하였으며, 필터링 및 기초값 계산에는 RDKit를 사용.

실험 결과

연구 질문

• RQ1 생성된 분자 라이브러리의 크기가 신규 약물 발견에서 분자의 품질 평가에 어떻게 체계적으로 왜곡되는가?
• RQ2 샘플링 하이퍼파라미터(온도, top-k, top-p)가 생성된 분자의 유사도와 다양성에 대해 인식된 수준에 얼마나 큰 영향을 미치는가?
• RQ3 일반적으로 사용되는 평가 지표(FCD, FDD, 신규성 등)가 실제 분자의 품질과 생물학적 관련성과 얼마나 상관되는가?
• RQ4 공정한 모델 벤치마킹을 가능하게 하기 위해 표준화되고 재현 가능한 평가 프rotocol를 수립할 수 있는가?
• RQ5 생성적 약물 발견 평가 환경에서의 주요 '함정', '보물', '탈출 방법'은 무엇인가?

주요 결과

• 라이브러리 크기가 평가에 심각하게 영향을 미친다: 작은 라이브러리(예: 1,000개 설계)는 훈련 세트와의 유사도를 체계적으로 과대평가하고 다양성을 과소평가하여 모델 성능에 대한 잘못된 확신을 유도한다.
• FCD(Fréchet ChemNet 거리)와 FDD(Fréchet 기초거리)는 라이브러리 크기에 민감하며, 모델 품질이 동일한 상황에서 1,000개에서 100,000개로 라이브러리 크기를 늘릴 경우 FCD 값이 최대 30% 감소한다.
• Top-1(탐욕적) 샘플링은 매우 유사한 분자를 생성하여 다양성이 낮다(평균 Tanimoto 유사도 >0.95), 반면 높은 온도나 top-p 샘플링은 다양성을 높이지만 무효 또는 저품질 분자를 생성할 위험이 있다.
• 신규성과 유일성 지표는 라이브러리 크기에 매우 민감하다: 고성능 모델일지라도 라이브러리 크기를 1,000에서 100,000으로 늘일 경우 신규성 비율이 최대 50% 감소한다.
• 설계 가능성(로그확률 곱)은 생물학적 관련성과 빈약하게 상관되며, 높은 확률을 가진 분자가 반드시 우수한 사전 실험 후보가 되는 것은 아님을 시사한다.
• 22개의 서로 다른 샘플링 구성이 유의미하게 다른 평가 결과를 낳으며, 이는 오해의 소지가 있는 벤치마킹을 피하기 위해 표준화된 프로토콜가 필요함을 강조한다.