[논문 리뷰] Parallel and Distributed Thompson Sampling for Large-scale Accelerated Exploration of Chemical Space

José Miguel Hernández-Lobato, James Requeima외 2명|arXiv (Cornell University)|2017. 06. 06.

Machine Learning and Algorithms참고 문헌 30인용 수 76

한 줄 요약

이 논문은 대규모 화학 공간에서 확장 가능한 병렬 베이지안 최적화를 위한 Parallel and Distributed Thompson Sampling (PDTS)을 제안하고, 작은 배치에서는 parallel EI와 비슷한 성능을 보이며 큰 배치 및 실제 선별 작업에서 확장 가능한 베이스라인들을 능가하는 것을 보인다.

ABSTRACT

Chemical space is so large that brute force searches for new interesting molecules are infeasible. High-throughput virtual screening via computer cluster simulations can speed up the discovery process by collecting very large amounts of data in parallel, e.g., up to hundreds or thousands of parallel measurements. Bayesian optimization (BO) can produce additional acceleration by sequentially identifying the most useful simulations or experiments to be performed next. However, current BO methods cannot scale to the large numbers of parallel measurements and the massive libraries of molecules currently used in high-throughput screening. Here, we propose a scalable solution based on a parallel and distributed implementation of Thompson sampling (PDTS). We show that, in small scale problems, PDTS performs similarly as parallel expected improvement (EI), a batch version of the most widely used BO heuristic. Additionally, in settings where parallel EI does not scale, PDTS outperforms other scalable baselines such as a greedy search, $ε$-greedy approaches and a random search method. These results show that PDTS is a successful solution for large-scale parallel BO.

연구 동기 및 목표

• 브루트 포스 탐색을 넘어서는 거대한 화학 공간을 탐색하는 문제에 동기를 부여하고 이를 해결한다.
• 매우 큰 배치 크기를 다룰 수 있는 확장 가능한 병렬 베이지안 최적화 방법을 개발한다.
• 합성 벤치마크와 실제 분자 선별 데이터셋에서 PDTS를 parallel EI 및 다른 베이스라인과 비교한다.
• 가우시안 프로세스 모델과 베이지안 신경망 모두에 대한 적용 가능성을 입증한다.
• 재료 및 약물 발견을 위한 고처리량 스크리닝에서 PDTS의 효과를 선보인다.

제안 방법

• 배치 베이지안 최적화를 위한 Parallel and Distributed Thompson Sampling (PDTS)을 도입한다.
• 모델 매개변수에 대한 사후 샘플을 뽑아 그 샘플 하에서 최적의 점을 선택하는 방식으로 Thompson sampling을 사용하여 병렬 배치 선택을 가능하게 한다.
• 보류 중인 결과에서 단일 몬테카를로 샘플을 사용하여 병렬 획득을 근사하고 추가 사후 업데이트를 피한다.
• 각 노드가 독립적으로 사후를 샘플링하고 자체 획득 함수를 최적화하도록 분산 노드에 PDTS를 구현한다.
• 가우시안 프로세스와 베이지안 신경망 모두를 지원한다(확률적 역전파로 학습된 베이지안 신경망을 통해).
• 중앙 조정으로 화학에서 이산적으로 큰 후보 집합을 다루어 배치 선택에서 중복을 피한다.

실험 결과

연구 질문

• RQ1 작은 배치 크기에서 PDTS가 병렬 EI와 유사한 성능을 달성할 수 있는가?
• RQ2 화학 공간 탐색을 위한 병렬 베이지안 최적화에서 매우 큰 배치 크기로 확장되도록 PDTS가 확장되도록 하는가?
• RQ3 고처리량 스크리닝 작업에서 PDTS가 그리디, epsilon-greedy, 무작위 기준선과 어떻게 비교되는가?
• RQ4 대리 모델로 가우시안 프로세스나 베이지안 신경망을 사용할 때 PDTS가 효과적인가?
• RQ5 재료 및 약물 발견에서 큰 분자 데이터셋에 PDTS를 적용하는데 있어 실용적 시사점은 무엇인가?

주요 결과

• PDTS는 작은 배치 크기에 대해 parallel EI와 유사한 성능을 보인다.
• 대규모 병렬 BO 설정에서 PDTS가 그리디, epsilon-greedy, 무작위 기준선보다 우수하다.
• PDTS는 노드 간에 순차적 TS 실행을 병렬화하여 매우 큰 배치 크기에 대해 높은 확장성을 가지며 적용 가능하다.
• PDTS는 가우시안 프로세스와 베이지안 신경망으로 적용될 수 있어 고처리량 스크리닝에 대한 적용 범위를 넓힌다.
• 분자 데이터셋에 대한 실험은 재료 및 약물 스크리닝에서 발견 가속화를 위한 PDTS의 가능성을 보여준다.