[論文レビュー] Deep-Learning Based Docking Methods: Fair Comparisons to Conventional Docking Workflows

Ajay N. Jain, Ann E. Cleves+1 more|arXiv (Cornell University)|Dec 3, 2024

Cloud Computing and Resource Management被引用数 14

ひとこと要約

本論文は、DiffDock拡散ベースのドッキング法と従来のドッキングワークフローとの公正なベースライン比較を提供し、成熟したドッキング手法が同じテストセットでDiffDockを上回り、近傍近接学習ケースがDiffDockの報告性能に大きく偏りをもたらすことを示している。

ABSTRACT

The diffusion learning method, DiffDock, for docking small-molecule ligands into protein binding sites was recently introduced. Results included comparisons to more conventional docking approaches, with DiffDock showing superior performance. Here, we employ a fully automatic workflow using the Surflex-Dock methods to generate a fair baseline for conventional docking approaches. Results were generated for the common and expected situation where a binding site location is known and also for the condition of an unknown binding site. For the known binding site condition, Surflex-Dock success rates at 2.0 Angstroms RMSD far exceeded those for DiffDock (Top-1/Top-5 success rates, respectively, were 68/81% compared with 45/51%). Glide performed with similar success rates (67/73%) to Surflex-Dock for the known binding site condition, and results for AutoDock Vina and Gnina followed this pattern. For the unknown binding site condition, using an automated method to identify multiple binding pockets, Surflex-Dock success rates again exceeded those of DiffDock, but by a somewhat lesser margin. DiffDock made use of roughly 17,000 co-crystal structures for learning (98% of PDBBind version 2020, pre-2019 structures) for a training set in order to predict on 363 test cases (2% of PDBBind 2020) from 2019 forward. DiffDock's performance was inextricably linked with the presence of near-neighbor cases of close to identical protein-ligand complexes in the training set for over half of the test set cases. DiffDock exhibited a 40 percentage point difference on near-neighbor cases (two-thirds of all test cases) compared with cases with no near-neighbor training case. DiffDock has apparently encoded a type of table-lookup during its learning process, rendering meaningful applications beyond its reach. Further, it does not perform even close to competitively with a competently run modern docking workflow.

研究の動機と目的

• 共結晶構造の事前知識なしに、DiffDockテストセットに対する従来のドッキング性能の公正なベースラインを確立する。
• 既知の結合部位の位置でおよびブラインドドッキング（未知の結合部位）でドッキング性能を評価する。
• DiffDockの見かけの成功が真のドッキング機能ではなく、近傍トレーニングデータによって推進されているかを調査する。
• 複数の人気ドッキングツール（Surflex-Dock、Glide、AutoDock Vina、Gnina）を横断して、従来のドッキング法がDiffDockとどのように比較されるかを定量化する。
• トレーニングデータの構成がDiffDockの性能に与える影響を評価し、CADDでの評価に関する指針を提供する。）

提案手法

• 完全自動のSurflex-Dockワークフローを用いて従来のドッキングのベースラインを生成する。
• PDBBind 2020に由来するClean Test Setを用いてDiffDockテストデータを処理し、複数のドッキングツールと比較する。
• 既知の結合部位ドッキングと自動ポケット識別（未知の結合部位）シナリオを評価する。
• コグネート-リガンドリドッキング性能を用いて、DiffDockをSurflex-Dock、Glide、AutoDock Vina、Gninaと比較する。
• テストケースを近傍かどうかに分類することにより、DiffDockの性能への近傍トレーニングケースの影響を分析する。
• すべての分析はPDBBind 2020データに基づく：約17,000のトレーニング複合体と363のテストケース（Clean Test Setには290）。

実験結果

リサーチクエスチョン

• RQ1 既知の結合部位条件下で、成熟した自動ドッキングワークフロー（Surflex-Dock）はDiffDockテストセット上でDiffDockを上回るか？
• RQ2 既知の結合部位にドッキングした場合、DiffDockはGlide、AutoDock Vina、Gninaと比べてどう性能か？
• RQ3 未知の結合部位のブラインドドッキングにおけるDiffDockの性能は、ポケット識別を用いたSurflex-Dockと比較してどうか？
• RQ4 近傍トレーニングケースがDiffDockの報告性能をどの程度推進し、それが公正な比較にどう影響するか？
• RQ5 MLベースのドッキング手法におけるCADDの評価実践からどのような教訓を引き出せるか？

主な発見

• Surflex-Dockは既知の結合部位に対してTop-1/Top-5の成功率がおおよそ68%および81%であり、DiffDockの45%と51%を上回る。
• GlideはSurflex-Dockと類似の既知結合部位の性能を達成（Top-1/Top-5は約67% / 73%）。
• AutoDock VinaとGninaも同様のパターンで、既知サイトでのコグネントリガンドリドッキングにおいてDiffDockより良好。
• 未知結合部位（ブラインド）ドッキングでは、1.0 ÅでTop-5の成功率がDiffDockを15–20ポイント、2.0 Åで約10ポイント上回り、外れ値の考慮が大きい。
• DiffDockテストケースの約3分の2（191/290）は近傍トレーニングケースを含み、はるかに高い性能（Top-1/Top-5約57%/65%）を示した一方、非近傍ケースは約21%/28%でした。
• 極端な近傍ケース（24）は>90%の成功を達成し、真のドッキング一般化ではなく近傍の記憶効果を示すことを示唆する。近傍サブセットでも、DiffDockの全体的な性能はSurflex-DockとGlideより劣っていた。