[논문 리뷰] Enrichment Score: a better quantitative metric for evaluating the enrichment capacity of molecular docking models

Ian Scott Knight, Slava Naprienko외 1명|arXiv (Cornell University)|2022. 10. 19.

Computational Drug Discovery Methods인용 수 5

한 줄 요약

이 논문은 분자 도킹 모델의 리치(capacity) 평가를 위한 정규화되고 안정적인 지표인 리치 스코어를 제안한다. 이는 디코이의 수에 따라 최적의 LogAUC 커팅 포인트 파라미터를 설정함으로써 이루어지며, DOCK 3.7의 TRYB1 타겟에 대한 DUDE-Z 벤치마크에서의 결과를 통해 안정성 향상을 입증한다.

ABSTRACT

The standard quantitative metric for evaluating enrichment capacity known as $ extit{LogAUC}$ depends on a cutoff parameter that controls what the minimum value of the log-scaled x-axis is. Unless this parameter is chosen carefully for a given ROC curve, one of the two following problems occurs: either (1) some fraction of the first inter-decoy intervals of the ROC curve are simply thrown away and do not contribute to the metric at all, or (2) the very first inter-decoy interval contributes too much to the metric at the expense of all following inter-decoy intervals. We fix this problem with LogAUC by showing a simple way to choose the cutoff parameter based on the number of decoys which forces the first inter-decoy interval to always have a stable, sensible contribution to the total value. Moreover, we introduce a normalized version of LogAUC known as $ extit{enrichment score}$, which (1) enforces stability by selecting the cutoff parameter in the manner described, (2) yields scores which are more intuitively meaningful, and (3) allows reliably accurate comparison of the enrichment capacities exhibited by different ROC curves, even those produced using different numbers of decoys. Finally, we demonstrate the advantage of enrichment score over unbalanced metrics using data from a real retrospective docking study performed using the program $ extit{DOCK 3.7}$ on the target receptor TRYB1 included in the $ extit{DUDE-Z}$ benchmark.

연구 동기 및 목표

• 표준 LogAUC 지표가 임의의 커팅 포인트 선택에 민감하고 불안정한 이유를 해결한다.
• 높은 커팅 포인트는 초기 디코이 간격을 기각하고, 낮은 커팅 포인트는 첫 번째 간격을 과도하게 강조하는 문제를 해결한다.
• 다양한 수의 디코이를 가진 데이터셋 간에 도킹 모델 성능을 정확하고 공정하게 비교할 수 있도록 정규화된 지표를 개발한다.
• 디코이 수의 변화에 대해 강건하고 직관적으로 의미 있는 지표를 확보하기 위해 체계적인 커팅 포인트 규칙을 유도한다.
• DOCK 3.7의 실제 후행 도킹 데이터를 사용하여 제안된 리치 스코어가 LogAUC보다 뛰어나다는 것을 TRYB1 수용체에서 입증한다.

제안 방법

• 디코이 수 $ n $ 에 기반해 커팅 포인트 파라미터 $ a = \frac{1}{e \cdot n} $ 를 제안하여 LogAUC에서 첫 번째 디코이 간격 기여도를 안정화시킨다.
• 이 최적화된 커팅 포인트를 사용해 LogAUC의 정규화된 버전인 리치 스코어를 정의함으로써 일관되고 해석 가능한 값을 확보한다.
• 로그 스케일된 위양성 비율을 사용해 후행 도킹 실험에서 유도된 ROC 곡선에 리치 스코어를 적용한다.
• 다양한 $ n $ 를 사용해 동일한 데이터셋을 기반으로 리치 스코어를 표준 LogAUC와 비교하여 강건성 테스트를 수행한다.
• TRYB1 타겟에 대해 38개의 활성 물질과 100개 또는 50개의 디코이를 가진 DUDE-Z 벤치마크 데이터셋을 사용해 다양한 디코이 수에서의 성능을 평가한다.
• 리치 스코어가 표준 LogAUC와 달리 다양한 $ n $ 에서도 안정적으로 유지됨을 보여줌으로써 방법을 검증한다.

실험 결과

연구 질문

• RQ1 LogAUC의 커팅 포인트 선택이 분자 도킹 평가에서 리치 평가의 안정성과 신뢰성에 어떤 영향을 미치는가?
• RQ2 LogAUC 커팅 포인트를 체계적으로 설정하는 방법은 다양한 수의 디코이를 가진 데이터셋 간의 지표 일관성을 향상시킬 수 있는가?
• RQ3 체계적인 커팅 포인트 규칙에서 유도된 정규화된 LogAUC는 더 해석 가능하고 비교 가능한 리치 스코어를 제공하는가?
• RQ4 다양한 디코이 수를 가진 실제 도킹 데이터에서 제안된 리치 스코어는 표준 LogAUC보다 어떻게 성능을 발휘하는가?
• RQ5 다양한 벤치마크 데이터셋 간에 도킹 모델을 비교할 때 리치 스코어는 성능 평가의 변동성을 어느 정도 감소시키는가?

주요 결과

• 고정된 커팅 포인트 $ a = 1.0 \times 10^{-3} $ 를 사용할 경우, 100개와 50개의 디코이를 가진 데이터셋 간에 LogAUC 값의 차이가 0.036에 이르며, 이는 불안정성을 시사한다.
• 커팅 포인트를 $ a = \frac{1}{e \cdot n} $ 로 설정할 경우, 동일한 데이터셋 간 리치 스코어의 차이가 오직 0.004로 감소하여 안정성 향상이 뚜렷하게 나타난다.
• 만약 $ a $ 가 너무 낮을 경우(예: $ 1.0 \times 10^{-10} $), 리치 스코어는 급격히 감소하여 첫 번째 디코이 간격의 값에 가까워지며, 이는 낮은 $ a $ 가 초기 간격을 과도하게 강조함을 보여준다.
• 디코이 수 $ n = 50 $ 인 경우, $ a = \frac{1}{e \cdot n} $ 를 사용한 리치 스코어는 $ a = 1.0 \times 10^{-3} $ 인 표준 LogAUC보다 0.095 높다. 이는 부적절한 커팅 포인트 선택이 미치는 영향을 보여준다.
• 리치 스코어는 다양한 디코이 수에서 일관된 성능을 유지하여 도킹 모델의 리치 능력 평가를 신뢰할 수 있게 한다.
• 제안된 방법은 첫 번째 디코이 간격이 총 지표에 안정적이고 의미 있는 비율을 기여하도록 보장하여, 초기 데이터를 기각하거나 첫 번째 간격을 과도하게 강조하는 문제를 방지한다.