[论文解读] FusionDTI: Fine-grained Binding Discovery with Token-level Fusion for Drug-Target Interaction

Zhaohan Meng, Zaiqiao Meng+2 more|arXiv (Cornell University)|Jun 3, 2024

Innovative Microfluidic and Catalytic Techniques Innovation被引用 4

一句话总结

FusionDTI 提出了一种基于标记的融合模型，利用预训练语言模型（Saprot 和 SELFormer）结合 SELFIES 与结构感知的蛋白质标记化方法，在原子和残基层面捕捉药物-靶标之间的细粒度相互作用。该模型在 BindinDB 数据集上相比最佳基线模型实现了 6% 的准确率提升，达到当前最先进性能，同时通过可视化结合位点的注意力机制增强了可解释性。

ABSTRACT

Predicting drug-target interaction (DTI) is critical in the drug discovery process. Despite remarkable advances in recent DTI models through the integration of representations from diverse drug and target encoders, such models often struggle to capture the fine-grained interactions between drugs and protein, i.e. the binding of specific drug atoms (or substructures) and key amino acids of proteins, which is crucial for understanding the binding mechanisms and optimising drug design. To address this issue, this paper introduces a novel model, called FusionDTI, which uses a token-level Fusion module to effectively learn fine-grained information for Drug-Target Interaction. In particular, our FusionDTI model uses the SELFIES representation of drugs to mitigate sequence fragment invalidation and incorporates the structure-aware (SA) vocabulary of target proteins to address the limitation of amino acid sequences in structural information, additionally leveraging pre-trained language models extensively trained on large-scale biomedical datasets as encoders to capture the complex information of drugs and targets. Experiments on three well-known benchmark datasets show that our proposed FusionDTI model achieves the best performance in DTI prediction compared with seven existing state-of-the-art baselines. Furthermore, our case study indicates that FusionDTI could highlight the potential binding sites, enhancing the explainability of the DTI prediction.

研究动机与目标

• 为解决现有 DTI 模型在捕捉特定药物原子与靶标氨基酸之间细粒度相互作用方面的局限性。
• 通过在标记层面识别并可视化关键结合位点，提升 DTI 预测的可解释性。
• 通过整合 SELFIES 和结构感知（SA）词汇表，将结构信息融入药物与蛋白质的表示学习中，以增强表示能力。
• 开发一种融合机制，有效捕捉药物与靶标标记之间的跨模态交互，以提升预测性能。

提出的方法

• 采用 SELFIES 表示法对药物进行编码，以确保化学有效性并保留结构信息。
• 使用 Saprot（一种具有结构感知（SA）词汇表的预训练语言模型），在包含三维结构上下文的情况下编码蛋白质序列。
• 应用 SELFormer（一种用于分子序列的预训练语言模型），为药物分子生成上下文嵌入表示。
• 通过交叉注意力网络（CAN）与双线性注意力网络（BAN）实现基于标记的融合（TF）模块，以学习药物与靶标标记之间的细粒度交互。
• 利用交叉注意力图可视化单个药物原子与氨基酸残基对最终 DTI 预测的贡献。
• 在三个基准数据集上进行训练，采用冻结的编码器与分类器头，实现二分类相互作用预测。

Figure 1 : A . An illustration of the FusionDTI model contains frozen encoders, the fusion module, and the classifier. The TF focuses on fine-grained interactions between tokens within and across sequences. B . This is a token-level interaction instance of HIV-1 protease and lopinavir. Lopinavir for

实验结果

研究问题

• RQ1 与现有最先进模型相比，药物与靶标表示之间的基于标记的融合是否能提升 DTI 预测的准确性？
• RQ2 使用 SELFIES 与结构感知蛋白质标记化是否能增强模型捕捉化学上有意义且结构信息丰富的相互作用的能力？
• RQ3 该融合模块是否能突出显示原子与残基层面的特定结合位点，从而提升模型的可解释性？
• RQ4 在捕捉 DTI 的细粒度相互作用方面，CAN 与 BAN 哪种融合机制在性能与效率上表现更优？

主要发现

• 在三个基准数据集上，FusionDTI 在七种最先进基线模型中表现最佳，在 BindinDB 数据集上相比最佳基线模型实现了 6% 的准确率提升。
• 在所有融合尺度设置下，交叉注意力网络（CAN）模块均优于 BAN，证明其在捕捉细粒度相互作用方面具有更高的有效性与效率。
• 在案例研究中，该模型成功识别出潜在的结合位点，包括 DrugBAN 未识别的新预测结果，例如磺酰胺氧原子与氨基基团与特定残基的相互作用。
• Saprot 与 SELFormer 作为编码器的组合取得了最高性能，证实了其在捕捉丰富语义与结构信息方面的有效性。
• 注意力可视化结果表明，模型聚焦于具有生物学意义的残基与功能基团，显著增强了预测结果的可解释性。
• 使用结构感知词汇表使模型能够将三维结构上下文整合到蛋白质表示中，从而在标准氨基酸序列之外提升相互作用建模能力。

Figure 2 : BAN: In step 1, the bilinear attention map matrix is obtained by a bilinear interaction modelling via transformation matrices. In step 2, the joint representation $\mathbf{F}$ is generated using the attention map by bilinear pooling via the shared transformation matrices $\mathbf{U}$ and