[논문 리뷰] Do Deep Learning Models Really Outperform Traditional Approaches in Molecular Docking?

Yuejiang Yu, Shuqi Lu외 3명|arXiv (Cornell University)|2023. 02. 14.

Computational Drug Discovery Methods인용 수 22

한 줄 요약

논문은 포켓 검색과 도킹을 분리하여 딥러닝 도킹 모델이 전통적 도킹에 비해 공정하게 비교될 때, 주어진 포켓에 대한 도킹에서는 전통적 도킹이 더 우수하고, 반면 DL 방법은 포켓 검색에서 뛰어나다.

ABSTRACT

Molecular docking, given a ligand molecule and a ligand binding site (called ``pocket'') on a protein, predicting the binding mode of the protein-ligand complex, is a widely used technique in drug design. Many deep learning models have been developed for molecular docking, while most existing deep learning models perform docking on the whole protein, rather than on a given pocket as the traditional molecular docking approaches, which does not match common needs. What's more, they claim to perform better than traditional molecular docking, but the approach of comparison is not fair, since traditional methods are not designed for docking on the whole protein without a given pocket. In this paper, we design a series of experiments to examine the actual performance of these deep learning models and traditional methods. For a fair comparison, we decompose the docking on the whole protein into two steps, pocket searching and docking on a given pocket, and build pipelines to evaluate traditional methods and deep learning methods respectively. We find that deep learning models are actually good at pocket searching, but traditional methods are better than deep learning models at docking on given pockets. Overall, our work explicitly reveals some potential problems in current deep learning models for molecular docking and provides several suggestions for future works.

연구 동기 및 목표

• 포켓 특이적 도킹에서 공정하게 평가될 때 딥러닝 도킹 모델이 전통적 도킹을 능가하는지 평가한다.
• 블라인드 도킹을 포켓 검색과 도킹으로 분해하여 DL 모델이 개선하는 구성 요소를 식별한다.
• 공정한 평가를 위한 지침과 DL 기반 도킹 모델의 향후 방향을 제시한다.

제안 방법

• 전통적인 포켓 검색 도구(Fpocket, P2Rank, PointSite 등)와 Uni-dock를 도킹에 매칭하여 공정한 평가 파이프라인을 구성한다.
• 블라인드 도킹 및 포켓 인식 설정에서 평가되는 DL 기반 모델(EquiBind, TankBind, DiffDock 및 재현된 변형)을 포함한다.
• DiffDock 방법론을 따라 상위-k RMSD와 RMSD가 1Å 미만인 비율 및 RMSD가 2Å 미만인 비율, 그리고 중앙값 RMSD를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 DL 도킹 모델이 올바른 포켓에서 도킹될 때 전통적 방법을 능가하는가?
• RQ2 DL 모델은 포켓 검색, 도킹, 아니면 둘 다에 더 나은가?
• RQ3 엔드-투-엔드 블라인드 도킹 모델에 필요한 공정한 평가 관행은 무엇인가?
• RQ4 DiffDock과 같은 현재 DL 접근법의 포켓 검색 및 도킹 가능성은 어느 정도인가?
• RQ5 향후 DL 기반 도킹 연구를 이끌 지향점은 무엇이어야 하는가?

주요 결과

• 전통적 도킹 접근법이 동일한 포켓에서 도킹이 수행될 때 대부분의 DL 모델보다 우수하다.
• DL 모델은 강력한 포켓 검색 능력을 보여주며, DiffDock이 DL 접근법 중 포켓 발견에서 선두를 차지한다.
• DiffDock 포켓을 사용할 때에도 도킹 정확도 면에서 전통적 도킹(Uni-dock 등)이 DiffDock보다 우수할 수 있다.
• GT-포켓(실제 정답 포켓)은 도킹 성능을 substantially 높여 포켓 검색 정확도 개선 여지가 있음을 보여준다.
• DL 모델 중 DiffDock은 포켓 검색과 전통적 도킹 성능에 접근하기에 가장 유망한 것으로 식별된다.
• 연구는 알려진 포켓으로 도킹을 수행하고 포켓 검색 방법을 개선하는 데 DL 노력을 집중할 것을 권고한다.