[논문 리뷰] Regression Enrichment Surfaces: a Simple Analysis Technique for Virtual Drug Screening Models

Austin Clyde, Xiaotian Duan외 1명|arXiv (Cornell University)|2020. 06. 01.

Computational Drug Discovery Methods참고 문헌 47인용 수 7

한 줄 요약

이 논문은 가상의 약물 스크리닝 모델을 위한 시각화 및 평가 기법으로서 회귀 풍부도 표면(RES)을 도입한다. 이 기법은 예측 순위가 상위에 있는 활성 화합물들을 얼마나 잘 복원하는지 직접 평가한다. 상위 x%의 예측 결과 내에서 진짜 히트 화합물의 비율을 그림으로 그려, 다양한 스크리닝 임계값에서의 모델 성능을 드러낸다. 이는 $r^2$ 및 EF와 같은 표준 지표가 실제 응용에서의 성능을 잘못 이끌 수 있음을 보여주며, 특히 고정밀도, 저 throughput의 후속 실험을 고려할 때 더욱 그렇다.

ABSTRACT

We present a new method for understanding the performance of a model in virtual drug screening tasks. While most virtual screening problems present as a mix between ranking and classification, the models are typically trained as regression models presenting a problem requiring either a choice of a cutoff or ranking measure. Our method, regression enrichment surfaces (RES), is based on the goal of virtual screening: to detect as many of the top-performing treatments as possible. We outline history of virtual screening performance measures and the idea behind RES. We offer a python package and details on how to implement and interpret the results.

연구 동기 및 목표

• 가상의 약물 스크리닝 모델 평가에서 표준 회귀 지표($r^2$, MSE 등)의 한계를 해결하기 위해, 실제 후속 응용 요구사항을 반영하지 못하는 문제를 해결한다.
• 고정된 커프트를 가정하는 분류 기반 지표(AUC, EF 등)의 단점을 극복하기 위해, 실무에서 변동 가능한 스크리닝 임계값을 고려하지 못하는 문제를 해결한다.
• 리더 디스커버리 파이프라인에서 실제 사용 사례(예: 고비용 실험을 위한 소수의 화합물 선별)와 일치하는 시각화 기반 평가 방법을 제공한다.
• EF나 $r^2$와 같은 요약 통계량에만 의존하는 것보다, RES 플롯을 통해 모델 순위를 더 효과적으로 비교할 수 있음을 보여준다.
• 가상 스크리닝에서 기계학습 모델 평가를 위해 재현 가능하게 사용할 수 있는 실용적이고 오픈소스인 파이썬 구현을 제공한다.

제안 방법

• RES는 x축이 모델에 의해 상위 x%로 순위가 매겨진 화합물의 비율이고, y축이 그 순위 집합 내에서 포괄된 진짜 활성 화합물의 비율인 2차원 표면을 구성한다.
• 예측 점수를 [0,1] 범위로 정규화하고, 순위 매겨진 목록의 각 분위수에서 진짜 히트 화합물의 누적 비율을 계산한다.
• RES 점수는 단위 정사각형 위에서 표면의 적분으로 정의되며, 완벽한 성능에서는 1.0, 무작위 순위에서는 0.0을 얻는다.
• 예측 점수의 경험적 누적분포함수(ECDF)를 활성 및 비활성 화합물에 대해 사용하여 각 분위수에서의 히트 복원율을 계산한다.
• RES 플롯은 순위 매겨진 목록을 정규 간격(예: 목록의 매 1%)으로 샘플링하고, 상위 k% 예측 내에서 발견된 진짜 히트 화합물의 비율을 계산함으로써 생성된다.
• 여러 모델 간의 직접 비교가 가능해지며, RES 곡선을 겹쳐 그려 넣거나, 쌍별 차이를 계산하여 스크리닝 임계값에 따른 성능 트레이드오���을 파악할 수 있다.

실험 결과

연구 질문

• RQ1 제한된 예산이나 처리 능력이 있는 실제 후속 응용 조건을 반영할 수 있는 방식으로 기계학습 모델을 가상의 약물 스크리닝에서 어떻게 평가할 수 있는가?
• RQ2 특정 스크리닝 임계값에서 히트 복원을 목표로 할 때, $r^2$ 및 MSE와 같은 표준 회귀 지표가 모델 성능의 의미 있는 차이를 포착하지 못하는 이유는 무엇인가?
• RQ3 희망하는 히트 집합 크기가 알려져 있지 않거나 매우 선택적으로 설정된 경우, 분류 기반 지표인 엔richment factor(EF) 및 AUC가 모델 선택을 얼마나 잘못 이끌 수 있는가?
• RQ4 요약 통계량만으로는 부족하고, 시각화 기반 지표인 RES가 다양한 스크리닝 임계값에서 모델 간의 성능 트레이드오프를 더 잘 드러내는가?
• RQ5 RES 곡선의 형태는 고정밀도 영역(예: 상위 0.1%)과 보다 넓은 스크리닝(예: 상위 10%) 영역에서 모델의 행동을 어떻게 드러내는가?

주요 결과

• 모델 C는 가장 높은 $r^2$와 EF 점수를 기록했지만, 상위 10%의 진짜 히트를 복원하는 데 가장 열악한 성능을 보였다. RES 분석 결과, 이 모델은 상위 히트의 90%만 복원했고, 모델 A와 B는 각각 100%를 복원했다.
• RES 플롯은 모델 C가 초고정밀 영역(예: 상위 0.1%)에서 다른 모델보다 뛰어난 성능을 보였음을 명확히 드러냈다. 이는 곡선이 더 가파르게 아래로 향함으로써 매우 상위 화합물들을 더 잘 탐지함을 의미한다.
• 모델 D의 RES 점수는 0.8470으로 모델 C의 0.8586보다 略로 낮았지만, RES는 모델 D가 다양한 임계값에서 더 평탄하고 일관된 히트 복원 곡선을 유지함을 드러내어 더 뛰어난 내구성을 가짐을 시사했다.
• RES 플롯의 차수(subtraction, 그림 2 참조)를 통해 비교한 결과, 모델 C는 상위 예측의 0.01–0.03 범위(1–3%)에서 뛰어난 성능을 보였고, 모델 B는 상위 예측의 0.1–0.3 범위(10–30%)에서 다른 모델들을 능가했다.
• 이 연구는 $r^2$, EF 또는 AUC에만 의존할 경우 모델 선택이 잘못 이끌 수 있음을 입증했다. RES는 표기된 수치 지표에서는 보이지 않는 중요한 성능 차이를 드러냈다.
• RES 방법은 모델 A가 AUC가 가장 높은 0.709였지만, 높은 임계값에서 모델 B에 의해 히트 복원 성능에서 뒤지게 되었음을 성공적으로 식별했다. 이는 유일하게 RES 시각화에서만 드러나는 미묘한 차이였다.