[논문 리뷰] A decision theoretic approach to model evaluation in computational drug discovery

Oliver P Watson, Isidro Cortés‐Ciriano외 2명|arXiv (Cornell University)|2018. 07. 24.

Computational Drug Discovery Methods참고 문헌 28인용 수 3

한 줄 요약

이 논문은 계량 기반 데이터 분할과 순위 기반 손실 함수를 사용하여 계산 기반 약물 발견에서 평가를 위한 决策 이론적 접근을 제안한다. 이는 외삽 성능을 더 잘 평가하기 위해 설계되었으며, 높은 활성도를 보이는 분자의 예측에서 단순한 모델, 예를 들어 리지 회귀가 딥 뉴럴 네트워크나 랜덤 포레스트와 같은 복잡한 머신러닝 방법보다 성능이 뛰어나다는 것을 발견했다.

ABSTRACT

Artificial intelligence, trained via machine learning or computational statistics algorithms, holds much promise for the improvement of small molecule drug discovery. However, structure-activity data are high dimensional with low signal-to-noise ratios and proper validation of predictive methods is difficult. It is poorly understood which, if any, of the currently available machine learning algorithms will best predict new candidate drugs. 25 publicly available molecular datasets were extracted from ChEMBL. Neural nets, random forests, support vector machines (regression) and ridge regression were then fitted to the structure-activity data. A new validation method, based on quantile splits on the activity distribution function, is proposed for the construction of training and testing sets. Model validation based on random partitioning of available data favours models which overfit and `memorize' the training set, namely random forests and deep neural nets. Partitioning based on quantiles of the activity distribution correctly penalizes models which can extrapolate onto structurally different molecules outside of the training data. This approach favours more constrained models, namely ridge regression and support vector regression. In addition, our new rank-based loss functions give considerably different results from mean squared error highlighting the necessity to define model optimality with respect to the decision task at hand. Model performance should be evaluated from a decision theoretic perspective with subjective loss functions. Data-splitting based on the separation of high and low activity data provides a robust methodology for determining the best extrapolating model. Simpler, traditional statistical methods such as ridge regression outperform state-of-the-art machine learning methods in this setting.

연구 동기 및 목표

• 소분자 약물 발견을 위한 머신러닝 모델에서 흔히 발생하는 과적합과 낮은 일반화 능력 문제를 해결하기 위해.
• 구조-활성 관계(QSAR) 모델링에서 표준 랜덤 분할 전략이 교차 검증에 적합한지에 대한 유효성을 도전하기 위해.
• 실제 약물 발견 목표와 모델 성능을 일치시키는 의사결정 이론 기반 평가 프레임워크를 제안하기 위해.
• 리지 회귀나 서포트 벡터 회귀와 같은 단순하고 제약이 있는 모델이 새로운 고활성 분자에 대해 외삽할 때 복잡한 모델보다 성능이 뛰어나다는 것을 보여주기 위해.
• 고활성 화합물의 정확한 예측을 우선시하는 새로운 순위 기반 손실 함수를 제안하고 검증하기 위해.

제안 방법

• 모델 평가를 위해 ChEMBL에서 확보한 25개의 공개 분자 데이터셋을 사용한다.
• 미리 정의된 활성도 분포의 분위수를 기반으로 한 새로운 데이터 분할 전략을 제안하여, 새로운 분자 공간으로의 외삽을 시뮬레이션한다.
• 이 양자 기반 분할 전략을 표준 랜덤 분할 전략과 교차 검증에서 비교한다.
• 네 가지 모델 유형을 사용한다: 신경망, 랜덤 포레스트, 서포트 벡터 머신(회귀), 리지 회귀.
• 두 가지 새로운 순위 기반 손실 함수를 도입한다: $L_{\min}^{\gamma}$ (첫 번째 활성 분자의 순위에만 벌금을 부과함) 및 $L_{\mathrm{sum}}^{\gamma}$ (상위 활성 분자의 순위 합에 대해 벌금을 부과함).
• 의사결정 우선순위를 반영하기 위해 평균 제곱오차와 새로운 순위 기반 손실 함수를 사용하여 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 교차 검증에서 랜덤 분할 전략은 QSAR 모델링에서 모델 성능에 대해 지나치게 낙관적인 추정치를 초래하는가?
• RQ2 양자 기반 데이터 분할 전략은 모델이 구조적으로 새로운 고활성 분자에 대해 외삽할 능력을 더 잘 평가할 수 있는가?
• RQ3 고활성 화합물의 예측을 우선시하는 순위 기반 손실 함수는 표준 평균 제곱오차와 다른 모델 성능 순위를 도출하는가?
• RQ4 리지 회귀나 서포트 벡터 회귀와 같은 단순하고 제약이 있는 모델이 낮은 신호 대 잡음 비율, 고차원 QSAR 환경에서 딥 뉴럴 네트워크와 같은 복잡하고 민감한 모델보다 성능이 뛰어나게 되는가?
• RQ5 주관적이고 작업에 특화된 손실 함수를 사용함으로써 약물 발견의 모델 평가가 의사결정 이론과 더 잘 일치하는가?

주요 결과

• 교차 검증에서 랜덤 분할 전략은 랜덤 포레스트나 딥 뉴럴 네트워크와 같은 과적합 모델을 선호하며, 이는 훈련 데이터를 기억하는 데 기인한다.
• 양자 기반 분할 전략은 새로운 분자 공간으로의 일반화에 실패하는 모델에 벌금을 부과하여, 리지 회귀나 서포트 벡터 회귀와 같은 더 제약이 있는 모델을 선호한다.
• 리지 회귀는 $L_{\min}^{\gamma}$ 손실 함수로 평가할 때 항상 다른 모델보다 뛰어나며, 이는 가장 활성도가 높은 분자의 순위를 정확히 예측하는 것을 우선시하기 때문이다.
• 서포트 벡터 회귀는 $L_{\mathrm{sum}}^{\gamma}$ 손실 함수로 평가할 때 가장 우수한 성능을 보이며, 이는 상위 활성 분자의 누적 순위 오차에 대해 벌금을 부과하기 때문이다.
• 손실 함수의 선택은 모델 성능 순위에 큰 영향을 미치며, 이는 평균 제곱오차와 같은 표준 지표가 약물 발견 의사결정에 부적절하다는 것을 입증한다.
• 딥 러닝의 인기에도 불구하고, 제안된 양자 분할 전략 하에서는 모든 예측 능력을 상실하며, 이는 낮은 신호 대 잡음 비율, 고차원 QSAR 데이터에서의 외삽 능력이 열악하다는 것을 시사한다.