[논문 리뷰] Best practices for constructing, preparing, and evaluating protein-ligand binding affinity benchmarks

David F. Hahn, Christopher I. Bayly외 9명|arXiv (Cornell University)|2021. 05. 13.

Computational Drug Discovery Methods참고 문헌 103인용 수 7

한 줄 요약

이 논문은 자유 에너지 계산을 사용하여 단백질-리간드 결합 친화도 벤치마크를 구축하고 준비하며 평가하는 데 있어 표준화된 최선의 실천 방안을 수립한다. 고도로 정제된, 버전 관리가 되는 벤치마크 세트(蛋白質-리간드-벤치마크)와 오픈소스 툴킷(openff-arsenic)을 제공하여 계산 방법에 대한 고질적이고 재현 가능하며 통계적으로 탄탄한 평가를 보장하며, 약물 발견 분야의 알코올 자유 에너지 방법과 새로운 기계학습 접근법에 광범위하게 적용 가능하다.

ABSTRACT

Free energy calculations are rapidly becoming indispensable in structure-enabled drug discovery programs. As new methods, force fields, and implementations are developed, assessing their expected accuracy on real-world systems (benchmarking) becomes critical to provide users with an assessment of the accuracy expected when these methods are applied within their domain of applicability, and developers with a way to assess the expected impact of new methodologies. These assessments require construction of a benchmark - a set of well-prepared, high quality systems with corresponding experimental measurements designed to ensure the resulting calculations provide a realistic assessment of expected performance when these methods are deployed within their domains of applicability. To date, the community has not yet adopted a common standardized benchmark, and existing benchmark reports suffer from a myriad of issues, including poor data quality, limited statistical power, and statistically deficient analyses, all of which can conspire to produce benchmarks that are poorly predictive of real-world performance. Here, we address these issues by presenting guidelines for (1) curating experimental data to develop meaningful benchmark sets, (2) preparing benchmark inputs according to best practices to facilitate widespread adoption, and (3) analysis of the resulting predictions to enable statistically meaningful comparisons among methods and force fields.

연구 동기 및 목표

• 단백질-리간드 결합 친화도 예측을 위한 표준화되고 고품질의 벤치마크가 부족한 문제를 해결하기 위해.
• 데이터 정제, 구조 준비, 통계 분석에 대한 최선의 실천 방안을 정의하여 계산 기반 약물 발견 분야의 벤치마크 신뢰성과 재현 가능성을 향상시키기 위해.
• 일관된 평가를 가능하게 하기 위해 공동체가 채택 가능한, 버전 관리가 되는 벤치마크 데이터셋과 오픈소스 툴킷을 제공하기 위해.
• 표준화된 데이터 수집 및 정제 프로토콜을 통해 벤치마크 데이터셋의 체계적 개선을 지원하기 위해.

제안 방법

• 고품질의 실험 데이터에서 유래한 표준화되고 버전 관리가 되는 벤치마크 세트(蛋白質-리간드-벤치마크)를 정제한다. 이 데이터에는 구조적 정보와 생물활성 정보가 포함된다.
• 실험 데이터 정제에 대한 최선의 실천 방안을 수립하며, Iridium MT/HT 분류 및 생물물리적 실험원천과 같은 최소 데이터 품질 기준을 포함한다.
• 정확한 프로톤화, 탈코나이드, 전하 상태를 확보하기 위해 전문가 검토를 거친 구조 준비 절차에 대한 상세한 프로토콜을 제공한다.
• 부트스트랩 기반 신뢰구간과 RMSE 및 MUE와 같은 적절한 지표를 포함한 통계적 평가 프레임워크를 도입한다.
• 다양한 방법과 힘장에 걸쳐 자유 에너지 계산의 평가를 자동화하고 표준화하기 위한 오픈소스 툴킷(openff-arsenic)을 개발한다.
• 일관된 시각화 및 보고 방식을 권장하며, 예를 들어 계산된 친화도와 실험적 친화도를 동일한 단위와 스케일로 플로팅하는 방식을 포함한다.

실험 결과

연구 질문

• RQ1 단백질-리간드 결합 친화도 예측을 위한 고품질이고 신뢰할 수 있는 벤치마크 데이터셋을 정의하는 기준은 무엇인가?
• RQ2 벤치마크 평가에서 편향을 최소화하고 통계적 탄력성을 확보하기 위해 실험 데이터를 어떻게 정제할 수 있는가?
• RQ3 자유 에너지 계산의 일관성과 정확성을 확보하기 위한 최적의 구조 준비 프로토콜은 무엇인가?
• RQ4 다양한 방법과 힘장 간에 유효하고 재현 가능한 비교를 가능하게 하기 위해 벤치마크 결과는 어떻게 통계적으로 분석해야 하는가?
• RQ5 표준화된 데이터 수집 및 정제 프로토콜을 통해 공동체가 유지 관리하는 오픈소스, 버전 관리가 되는 자원은 무엇이 있는가?

주요 결과

• 벤치마크 세트는 각 타겟에 대해 최소 16개 이상의 리간드(권장 25개)를 포함하며, 자유 에너지 창이 최소 3.0 kcal/mol 이상(권장 >5.0 kcal/mol)이어야 하여 의미 있는 평가에 충분한 동적 범위를 확보한다.
• 고품질의 실험 데이터는 생물물리적 실험원천에서 확보되어야 하며, Iridium MT 또는 HT로 분류되어야 하여 신뢰성과 재현 가능성을 확보한다.
• 구조 준비 과정에서는 프로톤화, 탈코나이드, 전하 상태에 대한 전문가 검토가 반드시 포함되어야 하며, 자유 에너지 예측에서 체계적인 오류를 방지할 수 있다.
• 통계 분석에는 모든 성능 지표에 대해 부트스트랩 기반 신뢰구간을 포함시켜 결과의 과도한 해석을 방지해야 한다.
• 오픈소스 툴킷 openff-arsenic는 다양한 방법과 힘장 간에 자유 에너지 계산의 표준화되고 재현 가능한 평가를 가능하게 한다.
• 제안된 프레임워크는 과거 기반의 벤치마크와 향후 도전 과제를 모두 지원하여 실제 응용에 대한 벤치마크의 예측 능력을 향상시킨다.