[논문 리뷰] Concepts and Applications of Conformal Prediction in Computational Drug Discovery

Isidro Cortés‐Ciriano, Andreas Bender|arXiv (Cornell University)|2019. 08. 09.

Computational Drug Discovery Methods참고 문헌 100인용 수 26

한 줄 요약

이 논문은 계산 기반 약물 발굴에서 예측 불확실성 추정을 위한 신뢰할 수 있는 방법으로 일관성 예측(CP)을 소개하며, 회귀 및 분류 작업 모두에 대해 해석 가능한 신뢰구간을 제공한다. 낮은 계산 비용으로 어떤 기계학습 모델과도 결합함으로써 이론적 보장을 갖춘 유효한 예측집합을 보장하며, 인공지능 기반 약물 발굴 의사결정에 대한 신뢰도를 크게 향상시킨다.

ABSTRACT

Estimating the reliability of individual predictions is key to increase the adoption of computational models and artificial intelligence in preclinical drug discovery, as well as to foster its application to guide decision making in clinical settings. Among the large number of algorithms developed over the last decades to compute prediction errors, Conformal Prediction (CP) has gained increasing attention in the computational drug discovery community. A major reason for its recent popularity is the ease of interpretation of the computed prediction errors in both classification and regression tasks. For instance, at a confidence level of 90% the true value will be within the predicted confidence intervals in at least 90% of the cases. This so called validity of conformal predictors is guaranteed by the robust mathematical foundation underlying CP. The versatility of CP relies on its minimal computational footprint, as it can be easily coupled to any machine learning algorithm at little computational cost. In this review, we summarize underlying concepts and practical applications of CP with a particular focus on virtual screening and activity modelling, and list open source implementations of relevant software. Finally, we describe the current limitations in the field, and provide a perspective on future opportunities for CP in preclinical and clinical drug discovery.

연구 동기 및 목표

• 계산 기반 약물 발굴 모델에서 신뢰할 수 있는 불확실성 추정의 핵심적 필요성을 해결하기 위해.
• 일관성 예측이 임상 전 및 임상 의사결정에서 모델의 해석 가능성과 신뢰도를 어떻게 향상시키는지 보여주기 위해.
• 가상 스크리닝 및 활성도 모델링 워크플로우에 CP를 구현하는 데 실용적인 지침을 제공하기 위해.
• CP를 약물 발굴에 적용할 때의 오픈소스 도구와 현재의 한계를 부각하기 위해.
• CP가 인공지능 기반 약물 개발을 발전시키는 데 있어 향후 기회를 개략적으로 제시하기 위해.

제안 방법

• 약물 발굴의 기계학습 모델에 일관성 예측을 적용하여, 보장된 커버리지 확률을 갖는 예측구간을 생성한다.
• 이 방법은 비일관성 점수(non-conformity score)를 사용해 예측을 校정함으로써, 최소한의 가정 하에 유효성을 확보한다.
• 임의의 기본 학습기(base learner)와 호환되며, 랜덤 포레스트, 신경망, 기울기 부스팅 등에 대해 최소한의 계산 오버헤드를 갖는다.
• 사용자가 정의한 신뢰수준을 유지하는 예측집합을 계산하기 위해 적절한 훈련 및 校정 분할을 사용한다.
• 분류 작업의 경우 단일 레이블이 아닌 예측집합을 출력하며, 모든 테스트 인스턴스에 대해 커버리지 보장을 갖는다.
• 프레임워크는 오픈소스 라이브러리를 통해 구현되어 기존 약물 발굴 파이프라인에의 통합을 촉진한다.

실험 결과

연구 질문

• RQ1 일관성 예측은 계산 기반 약물 발굴에서 기계학습 모델의 신뢰성과 해석 가능성에 어떻게 기여하는가?
• RQ2 가상 스크리닝 및 활성도 모델링 작업에서 일관성 예측은 예측구간 커버리지에 어떤 영향을 미치는가?
• RQ3 일반적인 불확실성 추정 방법과 비교해 일관성 예측는 계산 비용과 강건성 측면에서 어떻게 다른가?
• RQ4 실제 약물 발굴 워크플로우에 일관성 예측를 적용할 때의 실용적 과제와 한계는 무엇인가?
• RQ5 약물 발굴의 임상 의사결정 지원에 일관성 예측을 확장하기 위해 향후 어떤 발전이 필요한가?

주요 결과

• 일관성 예측은 모든 테스트 케이스에서 참값이 사용자가 정의한 확률(예: 90%)로 정의된 신뢰구간 내에 존재하도록 보장한다.
• 이 방법은 최소한의 가정 하에 유효성을 유지하므로 모델 잘못 설정 및 데이터 분포 변화에 강건하다.
• 딥 네URAL 네트워크와 같은 복잡한 모델과도 거의 계산 오버헤드 없이 원활하게 통합될 수 있다.
• 이 접근법은 특히 불확실성 정량화가 중요한 분류 작업에서 이해 가능한 예측집합을 생성한다.
• 오픈소스 구현체가 제공되어 널리 보급되고 기존 약물 발굴 플랫폼에의 통합을 가능하게 한다.
• 장점이 있음에도 불구하고, 고차원 데이터 처리 및 대규모 스크리닝 응용에서의 효율성 확보 문제는 여전히 도전 과제이다.