[論文レビュー] Regression Enrichment Surfaces: a Simple Analysis Technique for Virtual Drug Screening Models

Austin Clyde, Xiaotian Duan+1 more|arXiv (Cornell University)|Jun 1, 2020

Computational Drug Discovery Methods参考文献 47被引用数 7

ひとこと要約

この論文は、仮想ドラッグスクリーニングモデルの可視化および評価手法として、予測順位が上位のアクティブ化合物をどれだけ効果的に回復できるかを直接評価する新しい手法である回帰増強面（RES）を紹介する。予測の上位x%に含まれる真のヒットの割合をプロットすることで、さまざまなスクリーニングしきい値におけるモデルのパフォーマンスを明らかにし、$r^2$ や EF といった標準的な指標が、高精度で低スループットの後続テストを想定した実世界の応用において誤解を招く可能性があることが示された。

ABSTRACT

We present a new method for understanding the performance of a model in virtual drug screening tasks. While most virtual screening problems present as a mix between ranking and classification, the models are typically trained as regression models presenting a problem requiring either a choice of a cutoff or ranking measure. Our method, regression enrichment surfaces (RES), is based on the goal of virtual screening: to detect as many of the top-performing treatments as possible. We outline history of virtual screening performance measures and the idea behind RES. We offer a python package and details on how to implement and interpret the results.

研究の動機と目的

• 仮想ドラッグスクリーニングモデルの評価において、標準的な回帰指標（例：$r^2$、MSE）が、実世界の後続応用要件を反映していないという限界を解消すること。
• 固定しきい値を仮定する分類ベースの指標（例：AUC、EF）の欠陥を克服し、実際の応用において変動するスクリーニングしきい値を考慮すること。
• リードディスカバリープロセスにおける実際の使用事例（例：高価なラボテスト用に少数の化合物を選択する）に整合した、可視化を軸にしたモデルパフォーマンス評価手法を提供すること。
• RESプロットを用いることで、EF や $r^2$ といった要約統計量に依存するのみでなく、モデル順位の比較をより効果的に行えることを示すこと。
• 仮想スクリーニングにおける機械学習モデルの再現可能な評価を可能にする、実用的でオープンソースのPython実装を提供すること。

提案手法

• RESは、x軸がモデルが上位x%にランク付けした化合物の割合、y軸がそのランク付きサブセット内に含まれる真のアクティブ化合物の割合である2次元の表面を構築する。
• 予測スコアを[0,1]の範囲に正規化し、順位付けされたリストの各分位点における真のヒットの累積割合を計算する。
• RESスコアは、単位正方形上で表面の積分として定義され、完全なパフォーマンスでは1.0、ランダム順位付けでは0.0を示す。
• 予測スコアの活性化合物および非活性化合物の経験的累積分布関数（ECDF）を用いて、各分位点におけるヒット回復率を計算する。
• RESプロットは、定期的な間隔（例：リストの毎1%）で順位付けされたリストをサンプリングし、上位k%の予測内に含まれる真のヒットの割合を計算することで生成される。
• 複数のモデルを、それらのRES曲線を重ねてプロットするか、ペアワイズ差分を計算することで、スクリーニングしきい値ごとのパフォーマンスのトレードオフを直接比較可能にする。

実験結果

リサーチクエスチョン

• RQ1 限られた予算やスループットといった実世界の後続応用制約を反映した、機械学習モデルの仮想ドラッグスクリーニングにおける評価方法は何か？
• RQ2 目的が特定のスクリーニングしきい値でのヒット回復である場合、$r^2$ や MSE といった標準的な回帰指標が、モデルパフォーマンスの有意義な差を捉えられないのはなぜか？
• RQ3 希望するヒットセットサイズが不明または極めて選択的である場合、分類ベースの指標（例：エンリッチメントファクター（EF）、AUC）がモデル選択をどれほど誤解を招くか？
• RQ4 要約統計量に比べて、可視化ベースの指標（例：RES）が、さまざまなスクリーニングしきい値におけるモデル間のパフォーマンストレードオフをどれほど明確に示せるか？
• RQ5 RES曲線の形状は、高精度領域（例：上位0.1%）と広いスクリーニング領域（例：上位10%）におけるモデルの挙動をどのように明らかにするか？

主な発見

• モデルCは、$r^2$ と EF スコアが最も高かったが、上位10%の真のヒットを回復する能力が最も悪く、RESでは上位ヒットの90%しか回復できなかった。一方、モデルAとBは100%の回復を達成した。
• RESプロットは、モデルCが超高精度領域（例：上位0.1%）で他のモデルを上回っていることを明確に示しており、その曲線がより急激に下方に曲がっていることから、極めて上位の化合物を優れた感度で検出できていることが示された。
• モデルDのRESスコアは0.8470で、モデルCの0.8586よりわずかに低かったが、RESはモデルDが全スクリーニングしきい値でより平坦で一貫性のあるヒット回復曲線を維持していることを明らかにした。これは、より優れたロバストネスを示している。
• RESプロットの差分（図2）による比較では、モデルCは1–3%（上位予測の0.01–0.03）の範囲で優れたパフォーマンスを示したが、モデルBは10–30%（上位予測の0.1–0.3）の範囲で他を上回った。
• この研究では、$r^2$、EF、AUCにのみ依存するとモデル選択が誤解を招く可能性があることが示された。RESは、表形式の指標では見えなかった重要なパフォーマンスの差を明らかにした。
• RES手法は、AUCが最も高かった（0.709）モデルAが、高しきい値でのヒット回復においてモデルBに劣っていることを的確に特定した。この微細な差は、RESの可視化によってのみ明らかにされた。