[論文レビュー] Enrichment Score: a better quantitative metric for evaluating the enrichment capacity of molecular docking models

Ian Scott Knight, Slava Naprienko+1 more|arXiv (Cornell University)|Oct 19, 2022

Computational Drug Discovery Methods被引用数 5

ひとこと要約

本稿では、デコイ数に応じて最適化されたLogAUCカットオフパラメータを設定することにより、分子ドッキングモデルのエンリッチメント能力を正規化され、安定した指標として評価するためのエンリッチメントスコアを提案する。LogAUCの不安定性を解消し、デコイ数が異なるデータセット間での一貫性ある比較を可能にする。DUDE-ZベンチマークのTRYB1ターゲットにおけるDOCK 3.7の結果を用いて検証した。

ABSTRACT

The standard quantitative metric for evaluating enrichment capacity known as $ extit{LogAUC}$ depends on a cutoff parameter that controls what the minimum value of the log-scaled x-axis is. Unless this parameter is chosen carefully for a given ROC curve, one of the two following problems occurs: either (1) some fraction of the first inter-decoy intervals of the ROC curve are simply thrown away and do not contribute to the metric at all, or (2) the very first inter-decoy interval contributes too much to the metric at the expense of all following inter-decoy intervals. We fix this problem with LogAUC by showing a simple way to choose the cutoff parameter based on the number of decoys which forces the first inter-decoy interval to always have a stable, sensible contribution to the total value. Moreover, we introduce a normalized version of LogAUC known as $ extit{enrichment score}$, which (1) enforces stability by selecting the cutoff parameter in the manner described, (2) yields scores which are more intuitively meaningful, and (3) allows reliably accurate comparison of the enrichment capacities exhibited by different ROC curves, even those produced using different numbers of decoys. Finally, we demonstrate the advantage of enrichment score over unbalanced metrics using data from a real retrospective docking study performed using the program $ extit{DOCK 3.7}$ on the target receptor TRYB1 included in the $ extit{DUDE-Z}$ benchmark.

研究の動機と目的

• 任意のカットオフパラメータ選択による分子ドッキング評価における標準LogAUC指標の不安定性と感受性を是正すること。
• 高カットオフ値では初期のインターデコイ間隔が無視され、低カットオフ値では最初の間隔が過剰に強調される問題を解決すること。
• デコイ数が異なるデータセット間で、ドッキングモデルの性能を正確かつ公平に比較可能な正規化された指標を開発すること。
• デコイ数の変化に対して一貫性があり、直感的に意味を持つ指標を、根拠に基づいたカットオフルールから導出すること。
• DOCK 3.7を用いたTRYB1受容体における実際のレトロスペクティブドッキングデータを用いて、提案されたエンリッチメントスコアがLogAUCを上回ることを示すこと。

提案手法

• デコイ数 $ n $ に対してカットオフパラメータ $ a = \frac{1}{e \cdot n} $ を提案し、LogAUCにおける最初のインターデコイ間隔の寄与を安定化させる。
• この最適化されたカットオフを用いて正規化されたLogAUCのバージョンとしてエンリッチメントスコアを定義し、一貫性があり解釈可能な値を保証する。
• 対数スケールの偽陽性率を用いて、レトロスペクティブドッキング実験から得られたROC曲線にエンリッチメントスコアを適用する。
• 同じデータセットを用いて、$ n $ を変化させながら、エンリッチメントスコアを標準LogAUCと比較し、ロバストネスをテストする。
• TRYB1ターゲットの38個のアクティブと100個または50個のデコイを含むDUDE-Zベンチマークデータセットを用い、異なるデコイ数における性能を評価する。
• エンリッチメントスコアが異なる $ n $ においても安定しているのを示すことで、本手法の妥当性を検証する。この際、固定カットオフ $ a = 10^{-3} $ を用いた標準LogAUCとは対照的である。

実験結果

リサーチクエスチョン

• RQ1 LogAUCにおけるカットオフパラメータの選択が、分子ドッキングにおけるエンリッチメント評価の安定性と信頼性に与える影響は何か？
• RQ2 LogAUCのカットオフを体系的に設定する方法は、デコイ数が異なるデータセット間で指標の一貫性を向上させられるか？
• RQ3 根拠に基づいたカットオフルールから導出された正規化されたLogAUCのバージョンは、より解釈可能で比較可能なエンリッチメントスコアをもたらすか？
• RQ4 異なるデコイ数を有する実ドッキングデータに対して、提案されたエンリッチメントスコアは標準LogAUCを上回る性能を示すか？
• RQ5 エンリッチメントスコアは、異なるベンチマークデータセット間でドッキングモデルを比較する際、性能評価のばらつきをどの程度低減するか？

主な発見

• 固定カットオフ $ a = 1.0 \times 10^{-3} $ を用いる場合、100個と50個のデコイを有するデータセット間でLogAUC値に0.036の差が生じ、不安定性を示している。
• カットオフを $ a = \frac{1}{e \cdot n} $ に設定すると、同じデータセット間のエンリッチメントスコアの差はわずか0.004にまで減少し、顕著な安定性の向上を示している。
• カットオフ $ a $ が低すぎる場合（例：$ 1.0 \times 10^{-10} $）、エンリッチメントスコアは急激に低下し、最初のインターデコイ間隔の値に近づく。これは、低 $ a $ が初期間隔を過剰に強調していることを示している。
• $ n = 50 $ のデータセットにおいて、$ a = \frac{1}{e \cdot n} $ を用いたエンリッチメントスコアは、$ a = 1.0 \times 10^{-3} $ を用いた標準LogAUCよりも0.095高い。これは、不適切なカットオフ選択が与える影響の大きさを示している。
• エンリッチメントスコアは、異なるデコイ数においても一貫した性能を示し、ドッキングモデルのエンリッチメント能力の信頼性ある比較を可能にする。
• 提案手法により、最初のインターデコイ間隔が安定した意味のある寄与を全指標に与えるよう保証され、初期データの棄却や最初の間隔の過剰強調を回避する。