[论文解读] Enrichment Score: a better quantitative metric for evaluating the enrichment capacity of molecular docking models

Ian Scott Knight, Slava Naprienko+1 more|arXiv (Cornell University)|Oct 19, 2022

Computational Drug Discovery Methods被引用 5

一句话总结

本文提出增强得分（Enrichment Score），一种通过基于配体数优化对数AUC截断参数来实现归一化且稳定的分子对接模型富集能力评估指标。该方法通过确保首个配体间区间的贡献一致，解决了对数AUC的不稳定性问题，从而实现不同配体数量数据集间的可靠比较。该方法在DUDE-Z基准中TRYB1靶标的DOCK 3.7结果上得到验证。

ABSTRACT

The standard quantitative metric for evaluating enrichment capacity known as $ extit{LogAUC}$ depends on a cutoff parameter that controls what the minimum value of the log-scaled x-axis is. Unless this parameter is chosen carefully for a given ROC curve, one of the two following problems occurs: either (1) some fraction of the first inter-decoy intervals of the ROC curve are simply thrown away and do not contribute to the metric at all, or (2) the very first inter-decoy interval contributes too much to the metric at the expense of all following inter-decoy intervals. We fix this problem with LogAUC by showing a simple way to choose the cutoff parameter based on the number of decoys which forces the first inter-decoy interval to always have a stable, sensible contribution to the total value. Moreover, we introduce a normalized version of LogAUC known as $ extit{enrichment score}$, which (1) enforces stability by selecting the cutoff parameter in the manner described, (2) yields scores which are more intuitively meaningful, and (3) allows reliably accurate comparison of the enrichment capacities exhibited by different ROC curves, even those produced using different numbers of decoys. Finally, we demonstrate the advantage of enrichment score over unbalanced metrics using data from a real retrospective docking study performed using the program $ extit{DOCK 3.7}$ on the target receptor TRYB1 included in the $ extit{DUDE-Z}$ benchmark.

研究动机与目标

• 解决标准对数AUC指标在分子对接评估中因截断参数选择任意而导致的不稳定性与敏感性问题。
• 解决高截断值会丢弃早期配体间区间、低截断值会过度强调首个区间的缺陷。
• 开发一种归一化指标，实现不同配体数量数据集间对接模型性能的准确、公平比较。
• 通过推导合理的截断规则，确保指标直观有意义且对配体数量变化具有鲁棒性。
• 利用DOCK 3.7在TRYB1受体上的真实回顾性对接数据，证明所提出的增强得分优于标准对数AUC。

提出的方法

• 提出截断参数 $ a = \frac{1}{e \cdot n} $，其中 $ n $ 为配体数量，以稳定对数AUC中首个配体间区间的贡献。
• 将增强得分为使用此优化截断参数的对数AUC归一化版本，确保其值保持一致且可解释。
• 将增强得分应用于从回顾性对接实验中获得的ROC曲线，使用对数刻度的假阳性率。
• 在相同数据集上对比增强得分与标准对数AUC，通过改变 $ n $ 测试鲁棒性。
• 使用包含38个活性化合物和100个或50个配体的DUDE-Z基准数据集，针对TRYB1靶标评估不同配体数量下的性能。
• 通过验证增强得分在不同 $ n $ 下保持稳定，而标准对数AUC在固定 $ a = 10^{-3} $ 时则不稳定，来验证方法的有效性。

实验结果

研究问题

• RQ1 对数AUC中截断参数的选择如何影响分子对接富集评估的稳定性与可靠性？
• RQ2 是否存在一种系统性方法来设定对数AUC截断参数，以提升不同配体数量数据集间的指标一致性？
• RQ3 基于合理截断规则推导出的对数AUC归一化版本，是否能产生更具可解释性与可比性的富集得分？
• RQ4 在不同配体数量的真实对接数据上评估时，所提出的增强得分相较于标准对数AUC表现如何？
• RQ5 当在不同基准数据集间比较对接模型时，增强得分在多大程度上减少了性能评估的变异性？

主要发现

• 使用固定截断值 $ a = 1.0 \times 10^{-3} $ 时，100个与50个配体的数据集间对数AUC值差异达0.036，表明存在不稳定性。
• 将截断值设为 $ a = \frac{1}{e \cdot n} $ 后，相同数据集间增强得分的差异仅降至0.004，显著提升了稳定性。
• 当 $ a $ 过低（如 $ 1.0 \times 10^{-10} $）时，增强得分急剧下降，趋近于首个配体间区间的值，表明低 $ a $ 过度强调初始区间。
• 在 $ n = 50 $ 数据集中，使用 $ a = \frac{1}{e \cdot n} $ 的增强得分比标准对数AUC（$ a = 1.0 \times 10^{-3} $）高出0.095，凸显了截断参数选择不当的影响。
• 增强得分在不同配体数量下保持一致性能，实现了对接模型富集能力的可靠比较。
• 所提出方法确保首个配体间区间对总指标的贡献稳定且具有实际意义，避免了早期数据被丢弃或首个区间被过度强调的问题。