[論文レビュー] Benchmarking structure-based three-dimensional molecular generative models using GenBench3D: ligand conformation quality matters

Benoît Baillif, Jason C. Cole+2 more|arXiv (Cornell University)|Jul 5, 2024

Genetics, Bioinformatics, and Biomedical Research被引用数 4

ひとこと要約

この論文は、Cambridge Structural Databaseの基準値と比較して結合長および価数角を評価する新しい指標であるValidity3Dを用いて、3次元分子生成モデルのリガンドコンformation品質を評価するベンチマーク、GenBench3Dを紹介する。生成された分子の0–11%しか有効なコンformationを示さなかったが、局所的リラクゼーションによりValidity3Dが最低40%向上し、生成直後の分子は特にVinaスコアにおいて結合親和性を過大評価していることが判明した。

ABSTRACT

Three-dimensional (3D) deep molecular generative models offer the advantage of goal-directed generation based on 3D-dependent properties, such as binding affinity for structure-based design within binding pockets. Traditional benchmarks created to evaluate SMILES or molecular graphs generators, such as GuacaMol or MOSES, are limited to evaluate 3D generators as they do not assess the quality of the generated molecular conformation. In this work, we hence developed GenBench3D, which implements a new benchmark for models producing molecules within a binding pocket. Our main contribution is the Validity3D metric, evaluating the conformation quality using the likelihood of bond lengths and valence angles based on reference values observed in the Cambridge Structural Database. The LiGAN, 3D-SBDD, Pocket2Mol, TargetDiff, DiffSBDD and ResGen models were benchmarked. We show that only between 0% and 11% of generated molecules have valid conformations. Performing local relaxation of generated molecules in the pocket considerably improved the Validity3D for all models by a minimum increase of 40%. For LiGAN, 3D-SBDD, or TargetDiff, the set of valid relaxed molecules shows on average higher Vina score (i.e. worse) than the set of raw generated molecules, indicating that the binding affinity of raw generated molecules might be overestimated. Using the other scoring functions, that give higher importance to ligand strain, only yield improved scores when using valid relaxed molecules. Using valid relaxed molecules, TargetDiff and Pocket2Mol show better median Vina, Glide and Gold PLP scores than other models. We have publicly released GenBench3D on GitHub for broader use: https://github.com/bbaillif/genbench3d

研究の動機と目的

• 構造ベースの生成モデルにおける3次元分子コンformation品質を評価するベンチマークの不足に対処すること。
• 結合ポケット内における生成分子の幾何学的に不正なコンformationの広がりを特定および定量すること。
• コンformationリラクゼーションが幾何学的有効性および結合親和性予測に与える影響を評価すること。
• LiGAN、3D-SBDD、Pocket2Mol、TargetDiff、DiffSBDD、ResGenの6つの3次元生成モデルの性能を標準化されたベンチマークを用いて比較すること。
• 今後の3次元分子生成モデルの再現可能な評価を可能にするために、GenBench3Dを公開すること。

提案手法

• 結合ポケットの文脈で3次元分子生成モデルを評価するためのベンチマークフレームワーク、GenBench3Dを開発した。
• Cambridge Structural Databaseからの基準値と比較して結合長および価数角の尤度を計算する、Validity3D指標を導入した。
• 事前に定義された結合ポケット内において、6つの最先端の3次元生成モデルを用いて分子を生成した。
• 分子力学（例：OPLS4力場）を用いた局所的コンformationリラクゼーションを実施し、幾何学的品質を向上させた。
• AutoDock Vina、Glide、Gold PLPの複数のスコアリング関数を用いて結合親和性を評価した。
• 幾何学的有効性およびスコアリング関数の性能の両面で、生成直後の分子とそのリラクゼーション後の分子を比較した。

実験結果

リサーチクエスチョン

• RQ1 3次元生成モデルが生成した分子のうち、結合ポケットに配置した際に幾何学的に有効なコンformationを持つ割合はどの程度か？
• RQ2 局所的コンformationリラクゼーションは、生成された分子の幾何学的有効性をどの程度向上させるか？
• RQ3 生成直後の分子の結合親和性が、コンformation品質の低さのために過大評価されがちであるか？
• RQ4 リラクゼーション後、どの3次元生成モデルが最も幾何学的に有効でかつ高いスコアを出す分子を生成するか？
• RQ5 Vina、Glide、Gold PLPの異なるスコアリング関数は、コンformationリラクゼーションに対して、結合親和性予測の正確性においてどのように反応するか？

主な発見

• 6つのモデルが生成した分子のうち、リラクゼーション前の有効なコンformationを示す割合は、Validity3D指標で測定したところ0%～11%にとどまった。
• すべてのモデルで、局所的コンformationリラクゼーションによりValidity3Dが最低40%向上した。一部のモデルでは顕著な向上が見られた。
• LiGAN、3D-SBDD、TargetDiffでは、リラクゼーション後の分子のVinaスコアが生成直後の分子よりも平均的に悪化した。これは、生成直後のスコアが結合親和性を過大評価している可能性を示している。
• 有効でリラクゼーションされた分子を用いると、TargetDiffとPocket2Molが他のモデルと比較して、Vina、Glide、Gold PLPのスコア関数においてより高い中央値スコアを達成した。
• リガンドの歪みをペナルティとして課すスコアリング関数（例：Glide、Gold PLP）は、有効でリラクゼーションされたコンformationに適用された場合にのみ、性能が向上した。
• GenBench3DはGitHubに公開され、今後の3次元分子生成モデルの再現可能なベンチマーク評価を支援する。