[논문 리뷰] GNN-PT: Enhanced Prediction of Compound-protein Interactions by Integrating Protein Transformer

Jingtao Wang, Xi Li외 1명|arXiv (Cornell University)|2020. 09. 02.

Computational Drug Discovery Methods참고 문헌 15인용 수 14

한 줄 요약

이 논문은 단백질 서열 내 장거리 잔기 상호작용을 포착하기 위해 단백질 트랜스포머 모듈을 통합함으로써 복합체-단백질 상호작용(CPI) 예측을 향상시키는 새로운 딥러닝 프레임워크인 GNN-PT를 제안한다. 단백질 표현에서 자기주의 메커니즘을 활용함으로써 GNN-PT는 기존 모델 대비 예측 성능을 크게 향상시키며, 벤치마크 CPI 데이터셋에서 최신 기술 수준의 성능을 보여준다.

ABSTRACT

The prediction of protein interactions (CPIs) is crucial for the in-silico screening step in drug discovery. Recently, many end-to-end representation learning methods using deep neural networks have achieved significantly better performance than traditional machine learning algorithms. Much effort has focused on the compound representation or the information extraction from the compound-protein interaction to improve the model capability by taking the advantage of the neural attention mechanism. However, previous studies have paid little attention to representing the protein sequences, in which the long-range interactions of residue pairs are essential for characterizing the structural properties arising from the protein folding. We incorporate the self-attention mechanism into the protein representation module for CPI modeling, which aims at capturing the long-range interaction information within proteins. The proposed module concerning protein representation, called Protein Transformer, with an integration with an existing CPI model, has shown a significant improvement in the prediction performance when compared with several existing CPI models.

연구 동기 및 목표

• 복합체-단백질 상호작용(CPI) 예측의 정확도를 향상시키기 위해 단백질 서열 표현을 개선하는 것.
• 기존 모델이 단백질 서열 내 잔기 간 장거리 상호작용을 포착하는 데에 한계가 있음을 해결하는 것.
• 자기주의 기반의 단백질 트랜스포머 모듈을 그래프 신경망(GNN) 프레임워크에 통합하여 CPI 모델링을 수행하는 것.
• 단백질 내 장거리 의존성을 모델링할 경우 예측 성능이 향상됨을 입증하는 것.
• 자기주의 메커니즘을 활용한 강력하고 종단 간 표현 학습 접근법을 제공하여 CPI 예측에 응용하는 것.

제안 방법

• 이 방법은 단백질 서열 내 아미노산 잔기 간 장거리 상호작용을 모델링하기 위해 다중 헤드 자기주의를 적용하는 단백질 트랜스포머 모듈을 도입한다.
• 기존의 그래프 신경망(GNN) 기반 CPI 모델에 단백질 트랜스포머를 통합하여 단백질 표현 학습을 향상시킨다.
• 단백질 서열은 학습된 토큰 임베딩을 사용하여 임베딩되며, 이후 다중 레이어의 다중 헤드 자기주의와 피드포워드 네트워크가 적용된다.
• 모델은 복합체와 단백질의 표현을 동시에 학습하며, 최종 예측 헤드를 통해 연결된 표현을 기반으로 상호작용 예측을 수행한다.
• 기존의 알려진 CPI 데이터에 기반해 이진 교차 엔트로피 손실을 사용하여 프레임워크를 종단 간(end-to-end)으로 훈련시킨다.
• GNN과 단백질 트랜스포머의 통합은 단백질 서열으로부터 구조적 및 기능적 특징을 더 잘 포착할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 자기주의 메커니즘이 복합체-단백질 상호작용 예측을 향상시키기 위해 단백질 서열 내 장거리 잔기 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 GNN 기반 CPI 모델에 단백질 트랜스포머를 통합하면 기준 모델 대비 측정 가능한 성능 향상이 이루어지는가?
• RQ3 단백질 표현에 장거리 구조적 정보를 포함시키면 CPI 예측의 일반화 능력과 정확도에 어떤 영향을 미치는가?
• RQ4 기존의 단백질 임베딩 방법에 비해 단백질 트랜스포머는 표현 학습을 얼마나 향상시키는가?
• RQ5 통합된 GNN-PT 프레임워크는 기존 최신 기술 수준의 CPI 예측 모델을 초월할 수 있는가?

주요 결과

• GNN-PT 모델은 벤치마크 CPI 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존 모델을 크게 능가한다.
• 단백질 트랜스포머 모듈의 통합은 기준 GNN 모델 대비 AUC 및 AUPRC 지표에서 뚜렷한 향상을 이끌어낸다.
• 제거 실험(ablation study) 결과, 단백질 트랜스포머 내 자기주의 메커니즘이 성능 향상에 크게 기여하는 것으로 확인된다.
• 모델은 다양한 단백질 가족과 복합체 유형에 걸쳐 뛰어난 일반화 능력을 보이며, 강력한 일반화 능력을 나타낸다.
• 결과적으로 장거리 잔기 상호작용을 모델링하는 것이 정확한 CPI 예측에 필수적임을 검증한다.
• 지속적인 향상이 나타나며, 단순히 국소적 또는 浅층적 표현에 의존하는 모델에 비해 성능이 뛰어나다.