[논문 리뷰] CBGBench: Fill in the Blank of Protein-Molecule Complex Binding Graph

Haitao Lin, Guojiang Zhao외 8명|arXiv (Cornell University)|2024. 06. 16.

Bioinformatics and Genomic NetworksBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

CBGBench는 분자의 생성을 3차원 이질적 그래프 완성 문제로 재정의함으로써, 구조 기반 약물 설계(SBDD)를 위한 통합 벤치마크를 제안한다. 이는 단백질-리간드 결합 그래프의 빈칸 메꾸기와 유사하다. 생성, 상호작용, 기하학적 특성, 구조적 부분화합물 등 다양한 지표를 표준화하여 최신 모델 간 공정한 비교를 가능하게 하며, CNN 기반 및 순차적 생성 모델이 여전히 경쟁력을 유지하고 있음을 드러내며, 도메인 지식 통합은 제한적인 성과를 보였다.

ABSTRACT

Structure-based drug design (SBDD) aims to generate potential drugs that can bind to a target protein and is greatly expedited by the aid of AI techniques in generative models. However, a lack of systematic understanding persists due to the diverse settings, complex implementation, difficult reproducibility, and task singularity. Firstly, the absence of standardization can lead to unfair comparisons and inconclusive insights. To address this dilemma, we propose CBGBench, a comprehensive benchmark for SBDD, that unifies the task as a generative heterogeneous graph completion, analogous to fill-in-the-blank of the 3D complex binding graph. By categorizing existing methods based on their attributes, CBGBench facilitates a modular and extensible framework that implements various cutting-edge methods. Secondly, a single task on extit{de novo} molecule generation can hardly reflect their capabilities. To broaden the scope, we have adapted these models to a range of tasks essential in drug design, which are considered sub-tasks within the graph fill-in-the-blank tasks. These tasks include the generative designation of extit{de novo} molecules, linkers, fragments, scaffolds, and sidechains, all conditioned on the structures of protein pockets. Our evaluations are conducted with fairness, encompassing comprehensive perspectives on interaction, chemical properties, geometry authenticity, and substructure validity. We further provide the pre-trained versions of the state-of-the-art models and deep insights with analysis from empirical studies. The codebase for CBGBench is publicly accessible at \url{https://github.com/Edapinenut/CBGBench}.

연구 동기 및 목표

• 일관되지 않은 프로토콜, 높은 구현 복잡도, 과도한 작업 특이성으로 인해 구조 기반 약물 설계(SBDD) 분야에서 표준화되고 종합적인 평가가 부족한 문제를 해결하기 위해.
• 분자의 생성을 이질적 그래프 완성(즉, 3차원 결합 그래프의 빈칸 메꾸기)으로 재정의함으로써 다양한 SBDD 방법을 하나의 모듈식 프레임워크로 통합하기 위해.
• 신규 분자의 생성을 넘어서 리드 최적화에서 핵심적인 하위 작업인 리간드 연결체, 프래그먼트, 스캐폴드, 사이드체인 설계를 포함한 평가를 확장하기 위해.
• 화학적 성질, 상호작용 패tern, 기하학적 타당성, 구조적 부분화합물 충실도 등 다양한 지표를 통합하여 공정하고 종합적이며 재현 가능한 벤치마킹을 가능하게 하기 위해.
• 사전 학습된 모델을 실제 타겟(Acetylcholine receptor B1, DRD3 등)에 적용하여 일반화 능력을 검증하고, 실험적 활성 물질과 비교하여 성능을 평가하기 위해.

제안 방법

• 단백질-리간드 복합체를 원자 노드와 상호작용 엣지로 구성된 그래프로 표현하고, 결합 부위의 결합 정보가 누락된 상태에서 원자 및 결합 정보를 '빈칸 메꾸기' 방식으로 생성함으로써 SBDD를 3차원 이질적 그래프 완성 문제로 재정의한다.
• 기존 방법을 세 가지 이원체로 분류한다: (i) 볼록체 기반 vs. 연속적 위치 생성, (ii) 일괄 생성 vs. 순차적 생성, (iii) 도메인 지식 기반 vs. 전면 데이터 기반 학습.
• 최신 모델들(예: Pocket2Mol, TargetDiff, D3FG, DiffBP)을 통합한 모듈식이고 확장 가능한 코드베이스를 구현하여 동일한 프레임워크 내에서 공정한 비교를 가능하게 한다.
• 다음 평가 항목을 포함하는 종합적인 평가 프로토콜을 도입한다: (i) 화학적 성질(QED, SA, LogP, LPSK), (ii) 상호작용 유형 및 Vina 도킹 에너지, (iii) 기하학적 지표(결합 길이, 결합 각도, 충돌 여부), (iv) 구조적 부분화합물 타당성(약리포호모, 고리, 기능기 조합).
• 신규 분자 생성, 리간드 연결체 설계, 프래그먼트 설계, 사이드체인 최적화, 스캐폴드 허브링 등 다섯 가지 작업으로 프레임워크를 확장하며, 모든 작업은 단백질 포켓의 구조에 조건부로 수행된다.
• ECFP 지문자(분포 기반 t-SNE 시각화)와 도킹 에너지 분포(Vina 점수, LBE)를 활용하여 ADRB1, DRD3 등 실제 타겟에서 벤치마크를 검증하고, 생성된 분자와 실험적 활성 물질, 무작위 대조군 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 통합된 그래프 완성 프레임워크는 아키텍처와 학습 방식이 다른 다양한 SBDD 방법 간에 공정한 비교를 가능하게 하는가?
• RQ2 표준화된 프로토콜 하에서 최신 생성 모델들이 화학적, 기하학적, 상호작용, 구조적 부분화합물 등 다양한 평가 차원에서 어떻게 성능을 발휘하는가?
• RQ3 기존 SBDD 모델들이 리드 최적화 작업(예: 리간드 연결체 또는 스캐폴드 설계)으로 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 벤치마크의 평가 지표가 실제 실험 타겟에서 바인딩 친화도와 얼마나 잘 상관되는가?
• RQ5 데이터 기반 모델과 지식 증강 모델 간에 단백질-리간드 결합 예측에서 상대적인 강점과 한계는 무엇인가?

주요 결과

• 밀도 맵을 활용한 CNN 기반 모델은 타겟 인식 분자 생성에서 여전히 높은 경쟁력을 유지하며, 일부 디퓨전 기반 대안보다 화학적 공간 일관성에서 뛰어난 성능을 보였다.
• 순차적 생성 모델은 높은 품질의 생성을 달성하기 위해 화학 결합 패턴을 명시적으로 모델링해야 하며, 이를 생략할 경우 구조적 오류가 발생한다.
• 물리적 및 화학적 도메인 지식 통합에도 불구하고 최근 모델들은 성능 향상이 미미하여, 효과적인 지식 증류가 여전히 핵심 과제임을 시사한다.
• 평가된 대부분의 모델은 리드 최적화 작업으로 일반화가 잘 되어 있으며, 리간드 연결체 설계가 가장 실현 가능하고 스캐폴드 허브링이 가장 어려운 과제임을 확인했다.
• 벤치마크의 평가 프로토콜은 내부 타겟과 실제 타겟(Acetylcholine receptor B1, DRD3 등)에서 유사한 성능 순위를 보이며 높은 일관성과 일반화 능력을 입증했다.
• D3FG와 TargetDiff는 실제 타겟에서 유리한 바인딩 친화도(낮은 Vina 점수, 낮은 LBE)를 가진 분자를 안정적으로 생성하는 데 뛰어난 성능을 보였으며, DiffBP, FLAG, Pocket2Mol은 낮은 분자량과 높은 안정성으로 인해 리드 발견 잠재력이 높아 보였다.