[논문 리뷰] Practical Massively Parallel Monte-Carlo Tree Search Applied to Molecular Design

Xiufeng Yang, Tanuj Kr Aasawat외 1명|arXiv (Cornell University)|2020. 06. 18.

Artificial Intelligence in Games참고 문헌 37인용 수 9

한 줄 요약

이 논문은 분산 메모리 시스템에서 1,000명의 워커까지 효율적으로 확장되는 새로운 분산형, 대량 병렬 몬테카를로 트리 탐색(MP-MCTS) 알고리즘을 제안한다. 이 알고리즘은 가상 손실과 트리 분할 기법을 통해 스케일링 시에도 탐색 품질을 유지하여, 비병렬 MCTS가 42시간이 걸리는 작업을 MP-MCTS가 10분 만에 수행함으로써 기존의 복잡한 딥 러닝 모델을 결합한 베이지안 최적화 또는 강화 학습 기반 최신 기법들을 능가한다.

ABSTRACT

It is common practice to use large computational resources to train neural networks, as is known from many examples, such as reinforcement learning applications. However, while massively parallel computing is often used for training models, it is rarely used for searching solutions for combinatorial optimization problems. In this paper, we propose a novel massively parallel Monte-Carlo Tree Search (MP-MCTS) algorithm that works efficiently for 1,000 worker scale, and apply it to molecular design. This is the first work that applies distributed MCTS to a real-world and non-game problem. Existing work on large-scale parallel MCTS show efficient scalability in terms of the number of rollouts up to 100 workers, but suffer from the degradation in the quality of the solutions. MP-MCTS maintains the search quality at larger scale, and by running MP-MCTS on 256 CPU cores for only 10 minutes, we obtained candidate molecules having similar score to non-parallel MCTS running for 42 hours. Moreover, our results based on parallel MCTS (combined with a simple RNN model) significantly outperforms existing state-of-the-art work. Our method is generic and is expected to speed up other applications of MCTS.

연구 동기 및 목표

• 실제 조합 최적화 문제, 특히 분자 설계 분야에서 대규모 분산 병렬 MCTS의 부재를 해결하기 위해.
• 기존 병렬 MCTS 접근 방식의 확장성 한계를 극복하기 위해 100명 이상의 워커를 초과할 경우 성능 품질이 떨어지는 문제를 해결하기 위해.
• 대량 병렬 MCTS가 복잡한 딥 러닝 모델과 베이지안 최적화 또는 강화 학습을 조합한 최신 기법보다 분자 설계 분야에서 동등하거나 뛰어난 성능을 낼 수 있음을 입증하기 위해.
• 분자 설계를 넘어서 계획 및 최적화 작업 등 다양한 분야에 적용 가능한 일반적이고 확장 가능한 MCTS 프레임워크를 개발하기 위해.

제안 방법

• 제안된 MP-MCTS는 가상 손실을 사용하여 분산 워커 간에 독립적인 롤아웃을 가능하게 하여 동기화 오버헤드를 최소화한다.
• 분산 메모리 환경에서 계산 노드 간에 트리 구조를 효율적으로 분배하기 위해 해시 기반 트리 분할 전략을 적용한다.
• 각 워커는 방문 빈도가 높은 부분 트리의 로컬 복사본을 유지하여 통신 빈도를 감소시키고 로드 밸런싱을 향상시킨다.
• 하나의 서브트리 업데이트를 주기적으로 동기화하여 일관성 유지 및 수렴성 향상을 도모한다.
• 롤아웃 단계에서 분자 SMILES 문자열을 샘플링하기 위해 단순한 RNN 기반 생성 모델을 사용하여 화학적 공간의 효율적 탐색을 가능하게 한다.
• 분자 성질에 대한 미분 가능한 보상 함수와 MCTS를 통합하여 고차원 이산 최적화 공간에서 기울기 기반 최적화 없이도 최적화를 수행할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 기존 접근 방식과 달리 100명 이상의 워커를 초과하는 스케일링에서도 분산 MCTS 알고리즘이 성능 품질을 유지할 수 있는가?
• RQ2 대량 병렬 MCTS가 분자 설계 분야에서 최신 기술인 복잡한 딥 생성 모델과 베이지안 최적화 또는 강화 학습을 조합한 기법보다 뛰어난 성능을 낼 수 있는가?
• RQ3 가상 손실과 해시 기반 트리 분할 전략이 분산 메모리 환경에서 탐색 품질을 희생시키지 않고도 효율적이고 확장 가능한 MCTS를 가능하게 하는가?
• RQ4 MP-MCTS는 분자 설계의 실세계 조합 최적화 문제에서 복잡한 딥 러닝 모델의 실질적인 대안이 될 수 있는가?

주요 결과

• MP-MCTS는 비병렬 MCTS가 42시간이 걸리는 동일한 분자 설계 점수를 10분 만에 달성하여 252배의 속도 향상을 보였다.
• 더 복잡한 딥 네트워크를 사용한 기존 최신 기법들보다도 성능 면에서 뛰어났다.
• 256개의 CPU 코어를 사용한 대규모 스케일링에서도 MP-MCTS의 성능 품질이 일관되게 유지되었으며, 이는 이전의 대규모 병렬 MCTS 구현에서 관찰된 성능 저하 현상을 피했다.
• MP-MCTS와 함께 사용된 단순한 RNN 모델이 동일한 벤치마크에서 더 복잡한 모델들보다 뛰어난 성능을 보였으며, 이는 병렬 탐색의 효율성이 모델의 복잡성보다 더 중요할 수 있음을 시사한다.
• 제안된 MP-MCTS 프레임워크는 분자 설계를 넘어서 후보 반응 경로 분석 등 MCTS 기반 문제에 일반적으로 적용 가능하며, 다양한 분야에 확장 가능하다.