[论文解读] CBGBench: Fill in the Blank of Protein-Molecule Complex Binding Graph

Haitao Lin, Guojiang Zhao+8 more|arXiv (Cornell University)|Jun 16, 2024

Bioinformatics and Genomic NetworksBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

CBGBench 通过将分子生成建模为 3D 异质图补全（即蛋白-配体结合图的填空任务），为基于结构的药物设计（SBDD）提出了一项统一基准。它统一了生成、相互作用、几何和子结构等多维度评估指标，实现了对最先进模型的公平比较，并揭示了基于 CNN 的方法和自回归方法依然具有竞争力，而领域知识的整合带来的增益有限。

ABSTRACT

Structure-based drug design (SBDD) aims to generate potential drugs that can bind to a target protein and is greatly expedited by the aid of AI techniques in generative models. However, a lack of systematic understanding persists due to the diverse settings, complex implementation, difficult reproducibility, and task singularity. Firstly, the absence of standardization can lead to unfair comparisons and inconclusive insights. To address this dilemma, we propose CBGBench, a comprehensive benchmark for SBDD, that unifies the task as a generative heterogeneous graph completion, analogous to fill-in-the-blank of the 3D complex binding graph. By categorizing existing methods based on their attributes, CBGBench facilitates a modular and extensible framework that implements various cutting-edge methods. Secondly, a single task on extit{de novo} molecule generation can hardly reflect their capabilities. To broaden the scope, we have adapted these models to a range of tasks essential in drug design, which are considered sub-tasks within the graph fill-in-the-blank tasks. These tasks include the generative designation of extit{de novo} molecules, linkers, fragments, scaffolds, and sidechains, all conditioned on the structures of protein pockets. Our evaluations are conducted with fairness, encompassing comprehensive perspectives on interaction, chemical properties, geometry authenticity, and substructure validity. We further provide the pre-trained versions of the state-of-the-art models and deep insights with analysis from empirical studies. The codebase for CBGBench is publicly accessible at \url{https://github.com/Edapinenut/CBGBench}.

研究动机与目标

• 为解决基于结构的药物设计（SBDD）中因评估协议不一致、实现复杂度高及任务单一化而导致的缺乏标准化、全面评估的问题。
• 通过将分子生成重新定义为异质图补全（即 3D 结合图的填空），将多样化的 SBDD 方法统一到一个模块化框架中。
• 将评估范围从从头分子生成扩展至在先导优化中至关重要的子任务：连接子设计、片段设计、骨架设计及侧链优化。
• 通过统一的化学性质、相互作用模式、几何有效性及子结构保真度指标，实现公平、全面且可复现的基准测试。
• 通过在真实靶点（如 ADRB1、DRD3）上应用预训练模型并评估其在实验活性化合物上的表现，验证基准的泛化能力。

提出的方法

• 将 SBDD 重构为 3D 异质图补全任务，其中蛋白-配体复合物被表示为图结构，原子为节点，相互作用为边，通过‘填补缺失原子与键信息’来生成分子。
• 根据三个二元分类维度对现有方法进行分类：(i) 栅格化 vs. 连续位置生成，(ii) 一次性生成 vs. 自回归生成，(iii) 基于领域知识 vs. 全数据驱动学习。
• 构建一个模块化、可扩展的代码库，将最先进模型（如 Pocket2Mol、TargetDiff、D3FG、DiffBP）统一集成到同一框架下，实现公平比较。
• 引入全面的评估协议，包括：(i) 化学性质（QED、SA、LogP、LPSK），(ii) 相互作用类型与 Vina 打分能量，(iii) 几何度量（键长、键角、原子冲突），(iv) 子结构有效性（药效团、环系、功能团）。
• 将框架扩展至五个任务：从头分子生成、连接子设计、片段设计、侧链优化及骨架跳跃，所有任务均以蛋白口袋结构为条件。
• 在真实靶点（ADRB1、DRD3）上验证基准，使用 ECFP 指纹（t-SNE 可视化）和结合亲和力分布（Vina 打分、LBE），将生成分子与实验活性化合物及随机对照组进行比较。

实验结果

研究问题

• RQ1 统一的图补全框架是否能够公平比较不同架构与训练范式下的多样化 SBDD 方法？
• RQ2 在标准化协议下，最先进生成模型在化学、几何、相互作用与子结构等多个评估维度上的表现如何？
• RQ3 现有 SBDD 模型在多大程度上可泛化至先导优化任务（如连接子或骨架设计）？
• RQ4 该基准的评估指标在真实实验靶点上与实际结合亲和力的相关性如何？
• RQ5 数据驱动模型与知识增强模型在蛋白-配体结合预测中的相对优势与局限性是什么？

主要发现

• 基于密度图的 CNN 方法在目标感知分子生成中依然表现强劲，其在化学空间一致性方面优于部分扩散基方法。
• 自回归模型需显式建模化学键模式才能实现高质量生成，否则将导致结构伪影。
• 尽管整合了物理与化学领域知识，近期模型仅表现出微弱改进，表明有效知识蒸馏仍是关键挑战。
• 大多数评估模型在先导优化任务中具有良好的泛化能力，其中连接子设计最为可行，骨架跳跃最具挑战。
• 基准的评估协议展现出强一致性与泛化能力，表现为在内部数据集与真实靶点（如 ADRB1、DRD3）上的性能排名高度一致。
• D3FG 与 TargetDiff 在真实靶点上生成具有有利结合亲和力（低 Vina 打分、低 LBE）分子方面表现出卓越且稳定的性能，而 DiffBP、FLAG 与 Pocket2Mol 因分子量小且稳定性高，在先导发现方面展现出潜力。