[論文レビュー] How Evaluation Choices Distort the Outcome of Generative Drug Discovery

Rıza Özçelik, Francesca Grisoni|arXiv (Cornell University)|Dec 24, 2024

Biotechnology and Related FieldsMedicine被引用数 3

ひとこと要約

本稿は、生成的ドラッグディスcoveryにおける評価手法を批判的に検討し、ライブラリサイズとサンプリング戦略が性能指標を系統的に歪め、分子の質に関する誤った結論を導くことを明らかにした。10⁹個のデノボ設計を大規模に分析することで、主な落とし穴を特定し、標準化された評価ツール（'treasures'）を導入し、将来の分子選定のための実行可能なガイドライン（'ways out'）を提案することで、モデルのベンチマーク評価とプロスペクティブな分子選定を改善することを目的としている。

ABSTRACT

"How to evaluate the de novo designs proposed by a generative model?" Despite the transformative potential of generative deep learning in drug discovery, this seemingly simple question has no clear answer. The absence of standardized guidelines challenges both the benchmarking of generative approaches and the selection of molecules for prospective studies. In this work, we take a fresh - critical and constructive - perspective on de novo design evaluation. By training chemical language models, we analyze approximately 1 billion molecule designs and discover principles consistent across different neural networks and datasets. We uncover a key confounder: the size of the generated molecular library significantly impacts evaluation outcomes, often leading to misleading model comparisons. We find increasing the number of designs as a remedy and propose new and compute-efficient metrics to compute at large-scale. We also identify critical pitfalls in commonly used metrics - such as uniqueness and distributional similarity - that can distort assessments of generative performance. To address these issues, we propose new and refined strategies for reliable model comparison and design evaluation. Furthermore, when examining molecule selection and sampling strategies, our findings reveal the constraints to diversify the generated libraries and draw new parallels and distinctions between deep learning and drug discovery. We anticipate our findings to help reshape evaluation pipelines in generative drug discovery, paving the way for more reliable and reproducible generative modeling approaches.

研究の動機と目的

• 生成的ドラッグディスcoveryモデルの現在の評価手法における深刻な欠陥を特定・暴露すること。
• ライブラリサイズとサンプリング戦略が生成分子の見かけの質にどのように歪められるかを調査すること。
• 生成モデル同士を客観的に比較できる標準化され信頼性の高い評価ツールおよび指標を開発すること。
• 将来の実験的検証に適した高品質で新規的かつ多様な分子を選定するための実行可能なガイドライン（'ways out'）を提供すること。
• 分子設計とディープラーニングの統合を強化するために、体系的な評価フレームワークを確立すること。

提案手法

• ChEMBLv33の150万件のSMILESを用いて、3つの最先端の化学言語モデル（LSTM、GPT、S4）を訓練し、3つのバイオアクティブな標的（DRD3、PIN1、VDR）に対して、320個の活性分子を5回のランダム分割で微調整した。
• 各モデル、各サンプリング戦略、ハイパーパramータ設定に対して100万個のSMILESを生成し、合計で約10⁹個のデノボ分子を22のサンプリング設定（温度、top-k、top-p）で生成した。
• 構文的妥当性、一意性、新規性、FCD（Fréchet ChemNet Distance）、FDD（Fréchet Descriptor Distance）、サブストラクチャ類似度（ECFPのTanimoto係数）、内部多様性（スフィアエクスクルージョン）、設計尤度（対数確率積）の包括的な指標セットを用いて評価した。
• 評価結果に与える影響を評価するため、ライブラリサイズを100から1,000,000まで系統的に変化させた。特に類似度および多様性指標への影響を分析した。
• 温度、top-k、top-pのサンプリング戦略を用いて、生成戦略が分子の質および分布の忠実度に与える影響を調査した。
• FDD計算の前に、分子記述子（logP、MW、HBD、環数、PSA）に最小-最大正規化を適用し、フィンガープintおよび記述子計算にはRDKitを用いた。

実験結果

リサーチクエスチョン

• RQ1 生成分子ライブラリのサイズが、デノボドラッグディスcoveryにおける分子の質の評価にどのように系統的に歪められるか？
• RQ2 温度、top-k、top-pといったサンプリングハイパーパramータが、生成分子の類似度および多様性の見かけの評価にどの程度歪めを引き起こすか？
• RQ3 FCD、FDD、新規性といった広く使われる評価指標は、実際の分子の質および生物学的関連性とどの程度相関しているか？
• RQ4 公平なベンチマーク評価を可能にするために、標準化され再現可能な評価プロトコルを確立できるか？
• RQ5 生成的ドラッグディスcoveryの評価のあり方において、主な『罠』、『宝物』、『抜け道』は何か？

主な発見

• ライブラリサイズが評価に顕著に影響を与える：小さなライブラリ（例：1,000設計）では、トレーニングセットとの類似度が系統的に高めに評価され、多様性が低く評価されるため、モデル性能に誤った自信をもたらす。
• Fréchet ChemNet Distance（FCD）およびFréchet Descriptor Distance（FDD）はライブラリサイズに敏感であり、モデル品質が同一であっても、1,000から100,000の設計を比較した場合、FCD値が最大30％低下する。
• Top-1（グリーディ）サンプリングは、類似度が極めて高い分子（平均Tanimoto類似度＞0.95）を生成し、多様性が低いが、高い温度またはtop-pサンプリングでは多様性が向上するが、無効または低品質な分子を生成するリスクが増加する。
• 新規性および一意性指標はライブラリサイズに極めて敏感である：高品質なモデルであっても、ライブラリサイズを1,000から100,000に増加させると、新規性率が最大50％低下する。
• 設計尤度（対数確率）は生物学的関連性と相関が弱く、高い尤度を持つ分子が必ずしも将来の研究に適した候補とは限らないことを示している。
• 22の異なるサンプリング設定が顕著に異なる評価結果をもたらすことが判明し、誤ったベンチマーク評価を避けるために標準化されたプロトコルの必要性が強調された。