[논문 리뷰] Benchmarking structure-based three-dimensional molecular generative models using GenBench3D: ligand conformation quality matters

Benoît Baillif, Jason C. Cole외 2명|arXiv (Cornell University)|2024. 07. 05.

Genetics, Bioinformatics, and Biomedical Research인용 수 4

한 줄 요약

이 논문은 구조 기반 3D 분자 생성 모델을 평가하기 위한 GenBench3D를 소개한다. 이는 캠브리지 구조학회 데이터베이스 기반 기준값과 비교하여 결합 길이와價각을 평가하는 새로운 Validity3D 지표를 사용하여 리간드 구조적 형상의 질을 평가한다. 생성된 분자 중 유일하게 0–11%만이 유효한 형상을 보였으며, 국소적 리아리언스 처리를 통해 Validity3D가 최소 40% 향상되었다. 이는 원시적으로 생성된 분자들이 특히 Vina 점수 기반에서 결합 친화도를 과도하게 평가하는 경향이 있음을 시사한다.

ABSTRACT

Three-dimensional (3D) deep molecular generative models offer the advantage of goal-directed generation based on 3D-dependent properties, such as binding affinity for structure-based design within binding pockets. Traditional benchmarks created to evaluate SMILES or molecular graphs generators, such as GuacaMol or MOSES, are limited to evaluate 3D generators as they do not assess the quality of the generated molecular conformation. In this work, we hence developed GenBench3D, which implements a new benchmark for models producing molecules within a binding pocket. Our main contribution is the Validity3D metric, evaluating the conformation quality using the likelihood of bond lengths and valence angles based on reference values observed in the Cambridge Structural Database. The LiGAN, 3D-SBDD, Pocket2Mol, TargetDiff, DiffSBDD and ResGen models were benchmarked. We show that only between 0% and 11% of generated molecules have valid conformations. Performing local relaxation of generated molecules in the pocket considerably improved the Validity3D for all models by a minimum increase of 40%. For LiGAN, 3D-SBDD, or TargetDiff, the set of valid relaxed molecules shows on average higher Vina score (i.e. worse) than the set of raw generated molecules, indicating that the binding affinity of raw generated molecules might be overestimated. Using the other scoring functions, that give higher importance to ligand strain, only yield improved scores when using valid relaxed molecules. Using valid relaxed molecules, TargetDiff and Pocket2Mol show better median Vina, Glide and Gold PLP scores than other models. We have publicly released GenBench3D on GitHub for broader use: https://github.com/bbaillif/genbench3d

연구 동기 및 목표

• 구조 기반 생성 모델에서 3D 분자 형상의 질을 평가하는 기준이 부족한 문제를 해결하기 위해.
• 결합 틈새 내에서 생성된 분자에 있어 기하학적으로 유효하지 않은 형상의 빈도를 규명하고 정량화하기 위해.
• 형상 리아리언스가 기하학적 유효성과 결합 친화도 예측에 어떤 영향을 미치는지 평가하기 위해.
• LiGAN, 3D-SBDD, Pocket2Mol, TargetDiff, DiffSBDD, ResGen의 여섯 3D 생성 모델의 성능을 표준화된 기준에서 비교하기 위해.
• 향후 3D 분자 생성 모델의 재현 가능한 평가를 지원하기 위해 GenBench3D를 공개하기 위해.

제안 방법

• 결합 틈새 환경에서 3D 분자 생성 모델을 평가하기 위한 벤치마크 프레임워크인 GenBench3D를 개발하였다.
• Cambridge 구조학회 데이터베이스 기반 기준값과 비교하여 결합 길이 및 비공유 전자쌍 각도의 가능성을 평가하는 Validity3D 지표를 도입하였다.
• 사전 정의된 결합 틈새 내에서 최신 6종의 3D 생성 모델을 사용해 분자를 생성하였다.
• 분자 역학(예: OPLS4 힘장)을 활용한 국소적 형상 리아리언스를 수행하여 기하학적 품질을 향상시켰다.
• AutoDock Vina, Glide, Gold PLP 등의 다양한 점수 함수를 사용해 결합 친화도를 평가하였다.
• 기하학적 유효성 및 점수 함수 성능 측면에서 원시 생성 분자와 리아리언스 처리된 분자를 비교 분석하였다.

실험 결과

연구 질문

• RQ1 결합 틈새에 배치되었을 때, 3D 생성 모델이 생성한 분자 중 기하학적으로 유효한 형상을 가진 분자는 얼마나 되는가?
• RQ2 국소적 형상 리아리언스가 생성된 분자의 기하학적 유효성에 얼마나 기여하는가?
• RQ3 낮은 형상 품질로 인해 원시 생성 분자의 결합 친화도가 과도하게 평가되는 편향이 있는가?
• RQ4 리아리언스 처리 후 가장 기하학적으로 유효하고 높은 점수를 받는 분자를 생성하는 3D 생성 모델은 무엇인가?
• RQ5 Vina, Glide, Gold PLP 등의 다양한 점수 함수는 형상 리아리언스에 대해 결합 친화도 예측 정확도 측면에서 어떻게 반응하는가?

주요 결과

• 여섯 모델이 생성한 분자 중 유일하게 0%에서 11%만이 리아리언스 이전에 Validity3D 지표 기준으로 유효한 형상을 보였다.
• 모든 모델에서 국소적 형상 리아리언스로 인해 Validity3D가 최소 40% 향상되었으며, 일부 모델에선 더 높은 향상률을 기록했다.
• LiGAN, 3D-SBDD, TargetDiff의 경우, 리아리언스 처리된 분자의 Vina 점수는 원시 생성 분자보다 평균적으로 열악한 편이었으며, 이는 원시 점수가 결합 친화도를 과도하게 평가할 수 있음을 시사한다.
• 유효하고 리아리언스 처리된 분자를 사용할 경우, TargetDiff와 Pocket2Mol가 Vina, Glide, Gold PLP 점수 함수에서 다른 모델보다 더 높은 중앙값 점수를 확보하였다.
• 리간드의 응력에 대해 페널티를 주는 점수 함수(Glide, Gold PLP)는 유효하고 리아리언스 처리된 형상에 적용되었을 때에만 성능 향상을 보였다.
• GenBench3D는 GitHub에 공개되어 향후 3D 분자 생성 모델의 재현 가능한 벤치마크 평가를 지원한다.