[논문 리뷰] GeneDisco: A Benchmark for Experimental Design in Drug Discovery

Arash Mehrjou, Ashkan Soleymani외 5명|arXiv (Cornell University)|2021. 10. 22.

CRISPR and Genetic Engineering참고 문헌 94인용 수 8

한 줄 요약

GeneDisco는 약물 발견 분야에서 배치 활성 학습을 평가하기 위한 표준화된 벤치마크를 도입하며, 정제된 CRISPR 기반 실험 데이터셋과 최신의 획득 기능 구현을 활용한다. 이는 다양한 생물학적 조건에서 활성 학습 방법을 체계적으로 평가할 수 있게 하여, 모델 성능와 영향력 있는 발견 효율성 사이의 상충 관계를 드러낸다.

ABSTRACT

In vitro cellular experimentation with genetic interventions, using for example CRISPR technologies, is an essential step in early-stage drug discovery and target validation that serves to assess initial hypotheses about causal associations between biological mechanisms and disease pathologies. With billions of potential hypotheses to test, the experimental design space for in vitro genetic experiments is extremely vast, and the available experimental capacity - even at the largest research institutions in the world - pales in relation to the size of this biological hypothesis space. Machine learning methods, such as active and reinforcement learning, could aid in optimally exploring the vast biological space by integrating prior knowledge from various information sources as well as extrapolating to yet unexplored areas of the experimental design space based on available data. However, there exist no standardised benchmarks and data sets for this challenging task and little research has been conducted in this area to date. Here, we introduce GeneDisco, a benchmark suite for evaluating active learning algorithms for experimental design in drug discovery. GeneDisco contains a curated set of multiple publicly available experimental data sets as well as open-source implementations of state-of-the-art active learning policies for experimental design and exploration.

연구 동기 및 목표

• 생물학적 실험 설계에서 활성 학습을 평가하기 위한 표준화된 벤치마크 부족 문제를 해결한다.
• 머신러닝 기반 약물 발견 연구를 가속화하기 위한 재현 가능하고 오픈소스 플랫폼을 제공한다.
• 다양한 실제 유전자 간섭 데이터셋에서 최신의 획득 기능을 평가한다.
• 성능 기준을 설정하고, 인과적 생물학적 통찰을 확보하기 위한 실험적 탐색 최적화의 핵심 과제를 규명한다.
• in vitro 유전자 실험의 고차원성, 희소성, 노이즈 특성에 맞는 활성 학습 방법의 향후 개발을 지원한다.

제안 방법

• CRISPR 변형과 표현형 읽기 결과를 활용한 in vitro 유전자 실험에서 유래한 4개의 공개 데이터셋을 정제하였다.
• 최신의 배치 활성 학습 획득 기능을 구현하고 오픈소스로 공개하였다. 이에는 불확실성 샘플링, 다양성 기반, 불확실성-불확실성 트레이드오프 방법이 포함된다.
• 사후 예측 추정기를 사용하여 미실험된 유전자 간섭의 결과를 예측하고 실험 선택을 안내하였다.
• 모델 정확도 및 높은 영향력 있는 생물학적 히트 수와 같은 다양한 성능 지표를 사용해 방법을 평가하였다.
• 다양한 초모수 설정과 데이터셋에서의 성능 평가를 위해 20,000시간 이상의 대규모 실험을 수행하였다.
• 재현성과 통계적 엄밀함을 확보하기 위해 상세한 초모수 탐색 영역, 다수의 랜덤 시드, 오차 막대를 제공하였다.

실험 결과

연구 질문

• RQ1 실제 생물학적 데이터셋에서 다양한 배치 활성 학습 획득 기능의 성능 및 히트 발견 효율성은 어떻게 비교되는가?
• RQ2 유전자 간섭 연구에서 모델 예측 정확도와 생물학적으로 관련 있는 실험적 히트 발견 사이에 어떤 상충 관계가 존재하는가?
• RQ3 모델의 불확실성 추정과 다양성 기반 선택 전략은 약물 발견에서 실험 설계의 효과성에 어떻게 영향을 미치는가?
• RQ4 기존의 활성 학습 방법은 CRISPR 스크리닝 데이터에서 다양한 생물학적 시스템과 표현형 읽기 결과에 얼마나 일반화되는가?
• RQ5 실험 생물학에서 활성 학습 벤치마크의 신뢰성과 재현 가능성에 영향을 미치는 주요 혼란 요인은 무엇인가?

주요 결과

• 불확실성 기반 및 다양성 기반 획득 기능은 무작위 및 k-means 기반 샘플링보다 모델 성능에서 뛰어났지만, 생물학적으로 의미 있는 히트를 발견하는 데는 뒤처졌다.
• 모델 정확도와 높은 영향력 있는 실험 결과 발견 사이에 뚜렷한 상충 관계가 관찰되어, 순수한 예측 모델만으로는 생물학적으로 관련 있는 가설을 놓칠 수 있음을 시사한다.
• 획득 기능의 성능은 데이터셋 간에 상당한 차이를 보였으며, 노이즈, 차원 수, 희소성 등의 데이터 특성에 민감함을 나타냈다.
• 생물학적 실험에서의 레이블 노이즈는 벤치마크에서 완전히 반영되지 않은 중요한 과제를 야기하며, 향후 방법 개발에서 노이즈 레이블에 대한 강건성을 확보할 필요가 있다.
• 벤치마크는 단일 획득 기능이 모든 지표와 데이터셋에서 항상 뛰어나지 않음을 드러내어, 적응형 또는 다목적 전략의 필요성을 강조한다.
• 20,000시간 이상의 대규모 평가를 통해 향후 생물학적 발견을 위한 활성 학습의 방법 비교 및 개발을 위한 강력하고 재현 가능한 기반을 제공한다.