[논문 리뷰] Deciding when to stop: Efficient stopping of active learning guided drug-target prediction

Maja Temerinac-Ott, Armaghan W. Naik외 1명|arXiv (Cornell University)|2015. 04. 09.

Computational Drug Discovery Methods참고 문헌 29인용 수 3

한 줄 요약

이 논문은 약물-표적 상호작용 예측에서 활성 학습 정확도를 예측하기 위한 시뮬레이션 기반 회귀 모델을 제안하며, 최소한의 성능 손실로 조기 정지를 가능하게 한다. 시뮬레이션된 데이터로 훈련함으로써, 실제 세계 데이터셋에서 높은 예측 정확도를 유지하면서도 실험 비용을 최대 40%까지 절감할 수 있다.

ABSTRACT

Active learning has shown to reduce the number of experiments needed to obtain high-confidence drug-target predictions. However, in order to actually save experiments using active learning, it is crucial to have a method to evaluate the quality of the current prediction and decide when to stop the experimentation process. Only by applying reliable stoping criteria to active learning, time and costs in the experimental process can be actually saved. We compute active learning traces on simulated drug-target matrices in order to learn a regression model for the accuracy of the active learner. By analyzing the performance of the regression model on simulated data, we design stopping criteria for previously unseen experimental matrices. We demonstrate on four previously characterized drug effect data sets that applying the stopping criteria can result in upto 40% savings of the total experiments for highly accurate predictions.

연구 동기 및 목표

• 불필요한 실험을 방지하기 위해 약물-표적 예측에서 활성 학습을 언제 멈출 것인지 결정하는 데 있어 핵심적인 과제를 해결하기 위해.
• 실험 비용을 최소화하면서도 예측 정확도를 훼손하지 않는 신뢰할 수 있는 데이터 기반 정지 기준을 개발하기 위해.
• 실제 세계의 약물-표적 상호작용 행렬에 일반화하기 위해 시뮬레이션된 활성 학습 트레이젝터리를 사용해 정지 규칙을 校정하기 위해.
• 예측된 모델 정확도를 바탕으로 한 조기 정지가 훨씬 적은 실험 수로도 유사한 성능을 달성할 수 있음을 보여주기 위해.
• 핵심화된 행렬 분해를 초월하여 고속 생물학적 스크리닝에서의 활성 학습에 적용 가능한 실용적인 프레임워크를 제공하기 위해.

제안 방법

• 기존 생물학적 데이터를 사용하여 약물-표적 상호작용 행렬을 시뮬레이션하여 반복적인 모델 업데이트를 포함하는 활성 학습 트레이젝터리를 생성하기 위해.
• 시뮬레이션된 활성 학습 과정에서 불확실성, 레이블 일관성, 예측 분산 등의 궤적 특징을 추출하기 위해.
• 미리 정의된 테스트 세트에서 활성 학습자의 진정한 정확도를 예측하기 위해 시뮬레이션된 데이터에서 회귀 모델을 훈련하기 위해.
• 훈련된 회귀 모델을 실제 세계의 약물-표적 데이터셋에 적용하여 활성 학습 중 현재 모델 성능을 추정하기 위해.
• 예측된 정확도를 기반으로 향후 실험이 성능 향상에 기여할 가능성이 낮을 경우 정지를 트리거하기 위해.
• 최적의 정지 시간(BST) 기반 벤치마크를 사용하여 불확실성, 기대 오차, 예측 정확도 등의 다양한 정지 기준을 비교하기 위해.

실험 결과

연구 질문

• RQ1 시뮬레이션된 활성 학습 트레이젝터리에서 훈련된 회귀 모델이 활성 학습 중 약물-표적 예측 모델의 진정한 정확도를 정확하게 예측할 수 있는가?
• RQ2 불확실성, 기대 오차, 또는 예측 정확도를 기반으로 한 정지 기준 중 어느 것이 실제 세계의 약물-표적 예측에서 최적의 정지 시간(BST)에 가장 가까운가?
• RQ3 예측 정확도 기반의 정지 규칙을 적용함으로써 실험 비용을 얼마나 줄일 수 있으며, 이로 인해 예측 성능이 떨어지지 않을까?
• RQ4 고정 임계값 및 적응형 임계값 방법과 비교할 때, 제안된 정지 규칙은 최적의 정지 시간에 얼마나 가까운가?
• RQ5 이 프레임워크는 핵심화된 행렬 분해를 초월하여 다른 약물-표적 예측 모델에 일반화될 수 있는가?

주요 결과

• 예측 정확도(PA) 정지 기준이 임계값 0.9를 사용할 경우, 네 개의 실제 세계 데이터셋에서 최적의 정지 시간(BST)과 평균 13.7%의 차이를 보이며 가장 낮은 평균 차이를 기록했다.
• PA 방법은 실험 수를 최대 40%까지 줄였으며, 높은 예측 정확도를 유지했고, AUC 값은 전체 실험 기준 대비 1~3% 이내였다.
• 고정 임계값을 사용한 OU(전체 불확실성) 및 MEE(최소 기대 오차) 방법은 유의미하게 열등했으며, BST와의 평균 차이가 30%를 초과했다.
• 적응형 임계값 설정은 OU 및 MEE의 성능을 향상시켰지만 여전히 PA 방법에 비해 열등했으며, PA 방법은 가장 일관되고 정확한 정지 행동을 보였다.
• 제안된 방법은 랜덤 샘플링에 비해 실험 수를 2~3배 정도 줄였을 때도 세 개의 고유성 높은 데이터셋에서 99%의 정확도를 달성하여 뚜렷한 효율성 향상을 보였다.
• 시뮬레이션된 데이터에서 훈련된 회귀 모델은 실제 모델 정확도의 신뢰할 수 있는 하한 추정치를 제공하여 실제 응용에서 효과적인 조기 정지를 가능하게 했다.