[論文レビュー] Concepts and Applications of Conformal Prediction in Computational Drug Discovery

Isidro Cortés‐Ciriano, Andreas Bender|arXiv (Cornell University)|Aug 9, 2019

Computational Drug Discovery Methods参考文献 100被引用数 26

ひとこと要約

本論文は、計算科学的ドラッグディスcoveryにおける予測不確実性を推定する信頼性のある手法として、コンformal prediction (CP) を導入し、回帰および分類タスクの両方における解釈可能な信頼区間の提供を可能にしている。CPを任意の機械学習モデルと組み合わせることで、理論的保証付きの有効な予測集合を低コストで得られ、AI駆動のドラッグディスcovery意思決定における信頼性を著しく向上させる。

ABSTRACT

Estimating the reliability of individual predictions is key to increase the adoption of computational models and artificial intelligence in preclinical drug discovery, as well as to foster its application to guide decision making in clinical settings. Among the large number of algorithms developed over the last decades to compute prediction errors, Conformal Prediction (CP) has gained increasing attention in the computational drug discovery community. A major reason for its recent popularity is the ease of interpretation of the computed prediction errors in both classification and regression tasks. For instance, at a confidence level of 90% the true value will be within the predicted confidence intervals in at least 90% of the cases. This so called validity of conformal predictors is guaranteed by the robust mathematical foundation underlying CP. The versatility of CP relies on its minimal computational footprint, as it can be easily coupled to any machine learning algorithm at little computational cost. In this review, we summarize underlying concepts and practical applications of CP with a particular focus on virtual screening and activity modelling, and list open source implementations of relevant software. Finally, we describe the current limitations in the field, and provide a perspective on future opportunities for CP in preclinical and clinical drug discovery.

研究の動機と目的

• 計算科学的ドラッグディスcoveryモデルにおける信頼性の高い不確実性推定の必要性に対応すること。
• コンフォーマル予測が前臨床および臨床意思決定におけるモデルの解釈可能性と信頼性をどのように向上させるかを示すこと。
• バーチャルスクリーニングおよびアクティビティモデリングワークフローへのCPの実装に関する実用的ガイドラインを提供すること。
• CPをドラッグディスcoveryに適用する際のオープンソースツールと現在の制限事項を強調すること。
• CPがAI駆動のドラッグ開発を前進させるための今後の機会を概説すること。

提案手法

• コンフォーマル予測は、保証されたカバレッジ確率を持つ予測区間を生成するために、ドラッグディスcoveryにおける機械学習モデルに適用される。
• この手法は、非適合スコアを用いたキャリブレーションによって動作し、最小限の仮定のもとで有効性を保証する。
• 任意のベースラーナー（ランダムフォレスト、ニューラルネットワーク、勾配ブースティングなど）と互換性があり、計算コストは最小限に抑えられる。
• 適切なトレーニングおよびキャリブレーションの分割を用いることで、ユーザーが定義した信頼水準を維持する予測集合を計算する。
• 分類タスクでは、単一のラベルの代わりに予測集合を出力し、すべてのテストインスタンスに対してカバレッジ保証が得られる。
• フレームワークはオープンソースライブラリを介して実装されており、既存のドラッグディスcoveryパイプラインへの統合を容易にする。

実験結果

リサーチクエスチョン

• RQ1 コンフォーマル予測は、計算科学的ドラッグディスCOVERYにおける機械学習モデルの信頼性と解釈可能性をどのように向上させるか？
• RQ2 バーチャルスクリーニングおよびアクティビティモデリングタスクにおける予測区間のカバレッジに、コンフォーマル予測が与える影響は何か？
• RQ3 計算コストと頑健性の観点から、従来の不確実性推定手法と比較して、コンフォーマル予測はどのように異なるか？
• RQ4 現実のドラッグディスCOVERYワークフローへのコンフォーマル予測の適用における実用的課題と制限は何か？
• RQ5 コンフォーマル予測を臨床意思決定支援に拡張するためには、今後どのような開発が必要か？

主な発見

• コンフォーマル予測は、すべてのテストケースにおいて、ユーザーが定義した確率（例：90%）で真の値が予測された信頼区間内に存在することを保証する。
• この手法は最小限の仮定のもとで有効性を維持するため、モデルの誤指定やデータ分布の変化に対しても頑健である。
• 深層ニューラルネットワークを含む、複雑なモデルともシームレスに統合可能で、計算コストはほとんど増加しない。
• 解釈可能な予測集合を生成するため、不確実性の定量化が重要な分類タスクにおいて特に有益である。
• オープンソース実装が利用可能であり、広範な採用と既存のドラッグディスCOVERYプラットフォームへの統合を促進する。
• 利点が顕著である一方で、高次元データの処理や大規模スクリーニング応用における効率性の確保という課題は依然として残っている。