[논문 리뷰] FusionDTI: Fine-grained Binding Discovery with Token-level Fusion for Drug-Target Interaction

Zhaohan Meng, Zaiqiao Meng외 2명|arXiv (Cornell University)|2024. 06. 03.

Innovative Microfluidic and Catalytic Techniques Innovation인용 수 4

한 줄 요약

FusionDTI는 사전 훈련된 언어 모델(Saprot 및 SELFormer)을 SELFIES와 구조 인식 단백질 토큰화와 함께 활용하여 원자 및 잔기 수준에서 세밀한 약물-타겟 상호작용을 포착하는 토큰 수준의 융합 모델을 제안한다. 이는 BindinDB에서 최고의 베이스라인 대비 6%의 정확도 향상을 달성하며, 결합 부위의 주목사용 시각화를 통해 설명 가능성까지 향상시킨다.

ABSTRACT

Predicting drug-target interaction (DTI) is critical in the drug discovery process. Despite remarkable advances in recent DTI models through the integration of representations from diverse drug and target encoders, such models often struggle to capture the fine-grained interactions between drugs and protein, i.e. the binding of specific drug atoms (or substructures) and key amino acids of proteins, which is crucial for understanding the binding mechanisms and optimising drug design. To address this issue, this paper introduces a novel model, called FusionDTI, which uses a token-level Fusion module to effectively learn fine-grained information for Drug-Target Interaction. In particular, our FusionDTI model uses the SELFIES representation of drugs to mitigate sequence fragment invalidation and incorporates the structure-aware (SA) vocabulary of target proteins to address the limitation of amino acid sequences in structural information, additionally leveraging pre-trained language models extensively trained on large-scale biomedical datasets as encoders to capture the complex information of drugs and targets. Experiments on three well-known benchmark datasets show that our proposed FusionDTI model achieves the best performance in DTI prediction compared with seven existing state-of-the-art baselines. Furthermore, our case study indicates that FusionDTI could highlight the potential binding sites, enhancing the explainability of the DTI prediction.

연구 동기 및 목표

• 기존 DTI 모델이 특정 약물 원자와 타겟 아미노산 간의 세밀한 상호작용을 포착하는 데에 한계가 있다는 문제를 해결하기 위해.
• 토큰 수준에서 핵심 결합 부위를 식별하고 시각화하여 DTI 예측의 설명 가능성을 향상시키기 위해.
• SELFIES와 구조 인식(SA) 어휘를 통한 구조 정보 통합을 통해 약물과 단백질의 표현 학습을 향상시키기 위해.
• 예측 성능 향상을 위해 약물 및 타겟 토큰 간의 다중 모odal 상호작용을 효과적으로 포착하는 융합 기반 구조를 개발하기 위해.

제안 방법

• 화학적으로 타당하고 구조 정보를 포함한 표현을 보장하기 위해 약물에 대해 SELFIES 표현을 사용한다.
• 3D 구조적 맥락을 반영한 구조 인식(SA) 어휘를 갖춘 사전 훈련된 언어 모델인 Saprot을 활용하여 단백질 서열을 3D 구조적 맥락과 함께 인코딩한다.
• 분자 서열을 위한 사전 훈련된 언어 모델인 SELFormer을 활용하여 약물 분자의 문맥적 임베딩을 생성한다.
• 교차 어텐션 네트워크(CAN)와 이차형 어텐션 네트워크(BAN)를 사용한 토큰 수준 융합(TF) 모듈을 구현하여 약물 및 타겟 토큰 간의 세밀한 상호작용을 학습한다.
• 개별 약물 원자와 아미노산 잔기의 기여도를 시각화하기 위해 교차 어텐션 맵을 활용한다.
• 고정된 인코더와 이진 상호작용 예측을 위한 분류기 헤드를 사용하여 세 가지 벤치마크 데이터셋에서 모델을 훈련한다.

Figure 1 : A . An illustration of the FusionDTI model contains frozen encoders, the fusion module, and the classifier. The TF focuses on fine-grained interactions between tokens within and across sequences. B . This is a token-level interaction instance of HIV-1 protease and lopinavir. Lopinavir for

실험 결과

연구 질문

• RQ1 기존 최고 수준의 모델 대비 약물 및 타겟 표현 간 토큰 수준 융합이 DTI 예측 정확도 향상에 기여하는가?
• RQ2 SELFIES와 구조 인식 단백질 토큰화를 사용할 경우, 화학적으로 의미 있는 상호작용과 구조적으로 정보가 풍부한 상호작용을 모델이 더 잘 포착할 수 있는가?
• RQ3 융합 모듈이 원자 및 잔기 수준에서 특정 결합 부위를 강조할 수 있는가, 이는 모델의 설명 가능성 향상에 기여하는가?
• RQ4 CAN과 BAN 중 어느 융합 기반 구조가 DTI에 대한 세밀한 상호작용을 포착하는 데 더 뛰어난 성능과 효율성을 보이는가?

주요 결과

• FusionDTI는 세 가지 벤치마크 데이터셋에서 일곱 개의 최고 수준 기준 모델 중에서 가장 뛰어난 성능을 기록했으며, BindinDB 데이터셋에서 최고의 베이스라인 대비 6%의 정확도 향상을 달성했다.
• 모든 융합 스케일 설정에서 교차 어텐션 네트워크(CAN) 모듈이 BAN을 능가하여 세밀한 상호작용을 포착하는 데 있어 뛰어난 효과성과 효율성을 입증했다.
• 사례 연구에서 모델은 새로운 예측을 포함하여 잠재적 결합 부위를 성공적으로 강조했다. 예를 들어, 설폰아미드 산소와 아미노기 그룹이 특정 잔기와 상호작용하는 경우를 DrugBAN이 식별하지 못한 바, FusionDTI는 이를 포착했다.
• Saprot와 SELFormer을 인코더로 조합한 결과가 가장 높은 성능을 기록하여, 이들이 풍부한 의미적 및 구조적 정보를 효과적으로 포착한다는 점을 확인했다.
• 어텐션 시각화 결과, 모델이 생물학적으로 관련성이 있는 잔기와 기능 그룹에 집중하고 있음을 확인하여 예측의 해석 가능성 향상에 기여했다.
• 구조 인식 어휘의 사용을 통해 모델는 단백질 표현에 3D 구조적 맥락을 통합할 수 있었으며, 이는 표준 아미노산 서열을 넘어서 상호작용 모델링을 향상시켰다.

Figure 2 : BAN: In step 1, the bilinear attention map matrix is obtained by a bilinear interaction modelling via transformation matrices. In step 2, the joint representation $\mathbf{F}$ is generated using the attention map by bilinear pooling via the shared transformation matrices $\mathbf{U}$ and