[論文レビュー] Current Methods for Drug Property Prediction in the Real World

Jacob Green, Cecilia Cabrera Diaz+4 more|arXiv (Cornell University)|Jul 25, 2023

Computational Drug Discovery Methods被引用数 5

ひとこと要約

本研究は、TDC、MoleculeNet、OPERAの12の公開データセットを用いて、薬物性状予測のための機械学習手法を大規模な実験的比較した。古典的モデル（例：ガウス過程、ランダムフォレスト）とディープラーニング手法（例：GNN、言語モデル）を評価した。結果として、性能はデータセットの種別に強く依存しており、特にQSARデータに対しては古典的モデルがディープラーニングを上回ることが多く、不確実性の定量化と計算効率の重要性が強調された。

ABSTRACT

Predicting drug properties is key in drug discovery to enable de-risking of assets before expensive clinical trials, and to find highly active compounds faster. Interest from the Machine Learning community has led to the release of a variety of benchmark datasets and proposed methods. However, it remains unclear for practitioners which method or approach is most suitable, as different papers benchmark on different datasets and methods, leading to varying conclusions that are not easily compared. Our large-scale empirical study links together numerous earlier works on different datasets and methods; thus offering a comprehensive overview of the existing property classes, datasets, and their interactions with different methods. We emphasise the importance of uncertainty quantification and the time and therefore cost of applying these methods in the drug development decision-making cycle. We discover that the best method depends on the dataset, and that engineered features with classical ML methods often outperform deep learning. Specifically, QSAR datasets are typically best analysed with classical methods such as Gaussian Processes while ADMET datasets are sometimes better described by Trees or Deep Learning methods such as Graph Neural Networks or language models. Our work highlights that practitioners do not yet have a straightforward, black-box procedure to rely on, and sets the precedent for creating practitioner-relevant benchmarks. Deep learning approaches must be proven on these benchmarks to become the practical method of choice in drug property prediction.

研究の動機と目的

• 多様なデータセットにおける薬物性状予測手法の間で一貫性があり、比較可能なベンチマークが不足しているという問題に取り組む。
• 異なる種類の薬物性状データセットにおいて、常に他のモデルを上回る機械学習モデルを特定する。
• 不確実性の定量化を複数のモデルで評価・検証し、薬物発見における意思決定の強固な基盤を提供する。
• 予測性能と計算ランタイムのトレードオフを評価し、時間に敏感な薬物開発プロセスへの実用的導入を支援する。
• 実務者に有用なベンチマークの基盤を確立し、将来的な手法の実世界での採用を検討する前に評価できるようにする。

提案手法

• TDC、MoleculeNet、OPERAの12の公開データセットを用いて、12種類の古典的およびディープラーニングモデルを大規模に実験的に比較した。
• 全モデルおよび全データセットで標準化されたデータ分割と評価指標（NRMSE、NLPD）を用い、比較可能性を確保した。
• ハイパーパramータ最適化にランダムサーチを適用し、3-fold交差検証を実施。最終モデルは全トレーニングセットで再学習した。
• 確率的モデル（例：ガウス過程、ベイジアンニューラルネットワーク）に対して不確実性の定量化を統合し、NLPDと予測区間を用いてキャリブレーションを評価した。
• GPUおよびCPU上でのトレーニング、推論、特徴抽出の実行時間を測定し、計算コストとスケーラビリティを評価した。
• ECFP、Mordred、Mol2Vec、InfoMax2Dなど複数の分子記述子を用い、特徴工学のモデル性能への影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: さまざまな薬物性状予測データセットにおいて、ある機械学習手法が常に他の手法を上回るのか？
• RQ2 RQ2: ある手法が常に他のすべての手法を上回るような、特定のデータセット群を特定できるか？
• RQ3 RQ3: 分子性状予測における異なる機械学習モデルにおいて、不確実性を効果的に定量化・検証する方法は何か？
• RQ4 RQ4: 実用的な薬物発見応用において、計算ランタイムと予測性能のトレードオフはどのようなものか？

主な発見

• 古典的機械学習手法、特に特徴工学を施したガウス過程（例：ECFP、Mol2Vec）は、QSARデータセットにおいてディープラーニングモデルを常に上回り、NRMSEとNLPDのスコアが最低を記録した。
• ADMETデータセットでは、木構造ベースのモデル（例：LightGBM）およびグラフニューラルネットワーク（GNN）が優れた性能を示し、DMPNN や GCN などのGNNはUS9908845B2などの特定のデータセットで競争力のある結果を得た。
• 化学的にインスパイアされたカーネルを備えたガウス過程（GP-C）は、複数のQSARデータセットで最先端の性能を達成した。特にCOVID_moonshotデータセットではNRMSEが2.411、NLPDが0.01869を記録した。
• ChemBERTa-2 や MTL-BERT などのディープラーニングモデルは、大規模データセットにおいて20時間を超えるトレーニング時間を要したが、予測性能はやや低い水準にとどまった。
• 不確実性の定量化はガウス過程モデルで最も信頼性が高く、適切にキャリブレートされた予測区間を示した。一方、ディープラーニングモデルはしばしば過信またはキャリブレーションが不十分な傾向を示した。
• 実行時間には顕著な差が見られた。ECFPベースのモデルは10分未塔で学習が完了したが、GNNや言語モデルは大規模データセットでは10時間以上を要した。これは、正確さと速度の間の主要なトレードオフを示している。