[논문 리뷰] Watch the Unobserved: A Simple Approach to Parallelizing Monte Carlo Tree Search

Anji Liu, Jianshu Chen외 4명|arXiv (Cornell University)|2018. 10. 28.

Artificial Intelligence in Games참고 문헌 35인용 수 4

한 줄 요약

이 논문은 새로운 통계 메커니즘을 통해 미완의(불완전한) 시뮬레이션 쿼리를 추적함으로써 선형 속도 향상을 달성하는 새로운 병렬 몬테카를로 트리 탐색(MCTS) 알고리즘인 WU-UCT을 제안한다. UCT 트리 정책을 수정하여 이러한 미관측 샘플을 통합함으로써, WU-UCT는 병렬 롤아웃 중에도 효과적인 탐색-이용 균형을 유지하며, 이전의 병렬 MCTS 방법에 비해 성능 손실을 크게 감소시킨다.

ABSTRACT

Monte Carlo Tree Search (MCTS) algorithms have achieved great success on many challenging benchmarks (e.g., Computer Go). However, they generally require a large number of rollouts, making their applications costly. Furthermore, it is also extremely challenging to parallelize MCTS due to its inherent sequential nature: each rollout heavily relies on the statistics (e.g., node visitation counts) estimated from previous simulations to achieve an effective exploration-exploitation tradeoff. In spite of these difficulties, we develop an algorithm, WU-UCT, to effectively parallelize MCTS, which achieves linear speedup and exhibits only limited performance loss with an increasing number of workers. The key idea in WU-UCT is a set of statistics that we introduce to track the number of on-going yet incomplete simulation queries (named as unobserved samples). These statistics are used to modify the UCT tree policy in the selection steps in a principled manner to retain effective exploration-exploitation tradeoff when we parallelize the most time-consuming expansion and simulation steps. Experiments on a proprietary benchmark and the Atari Game benchmark demonstrate the linear speedup and the superior performance of WU-UCT comparing to existing techniques.

연구 동기 및 목표

• 탐색-이용 균형을 확보하기 위해 누적 통계에 의존하는 바이어스로 인해 본질적으로 순차적인 MCTS를 병렬화하는 데 도전하는 것.
• 병행 또는 불완전한 롤아웃으로 인한 정보 손실로 인해 발생하는 병렬 MCTS의 성능 저하를 줄이는 것.
• 결정 품질을 희생시키지 않고 근사 선형 속도 향상을 달성하는 실용적이고 효율적인 병렬 MCTS 알고리즘을 개발하는 것.
• 게임 AI 및 모바일 게임에서의 사용자 행동 예측과 같은 실제 응용 분야에서 확장 가능하고 고성능의 계획 수단을 제공하는 것.

제안 방법

• 병렬화 중 정보를 유지하기 위해 진행 중인 불완전한 시뮬레이션 쿼리 수를 추적하는 새로운 통계 집합을 도입한다. 이를 '미관측 샘플'이라고 한다.
• 선택 단계에서 UCT 트리 정책을 수정하여 관측된 샘플 통계와 함께 미관측 샘플 통계를 통합함으로써 탐색과 이용의 균형을 유지한다.
• 비동기 롤아웃 중에 일관된 정책 업데이트를 보장하고 레이스 컨디션을 방지하기 위해 트리 탐색 시 가상 손실 메커니즘을 적용한다.
• 동적 워크로드 분배를 통해 워커 간 부하 균형을 맞추는 트리 병렬화와 루트 병렬화를 조합한 하이브리드 병렬화 전략을 사용한다.
• 원칙적인 방식으로 방문 수와 가치 추정치를 조정함으로써, 미관측 샘플을 고려한 백프로파게이션 메커니즘을 구현한다.
• 실제 모바일 게임 'Joy City'에서 사용자 통과율 예측에 알고리즘을 생산 환경에 구현하여 실세계의 확장성과 정확성을 검증한다.

실험 결과

연구 질문

• RQ1 병렬화로 인한 성능 저하를 최소화하면서도 MCTS에서 선형 속도 향상을 달성할 수 있는가?
• RQ2 여러 개의 롤아웃이 동시에 실행될 경우 탐색-이용 균형을 어떻게 유지할 수 있는가?
• RQ3 병렬 MCTS 환경에서 불완전한 시뮬레이션을 고려하기 위해 필요한 통계는 무엇인가?
• RQ4 UCT 정책에 단순하고 원칙적인 수정을 가했을 때, 높은 병렬성에서도 성능을 유지할 수 있는가?
• RQ5 실세계 및 벤치마크 환경에서 기존의 병렬 MCTS 기법과 비교해 본다면, 제안된 방법은 어떻게 성능을 발휘하는가?

주요 결과

• WU-UCT는 사내 벤치마크인 'Joy City'와 아케이드 게임 벤치마크에서 근사 선형 속도 향상을 달성했으며, 워커 수가 증가함에 따라 성능 손실가 최소화되었다.
• 'Joy City' 벤치마크에서 WU-UCT는 기존의 병렬 MCTS 방법보다 사용자 통과율 예측에서 뛰어난 정확도와 효율성을 보였다.
• 미관측 샘플 추적 메커니즘 덕분에, 고도의 병렬성에서도 안정적이고 효과적인 탐색-이용 균형을 유지할 수 있었다.
• 실험 결과, WU-UCT의 성능 손실은 TreeP 및 RootP와 같은 기준 방법에 비해 특히 스케일이 클수록 크게 낮았다.
• 가상 손실 메커니즘이 병행 롤아웃 중에 액션 가치의 과대평가를 성공적으로 방지하여 수렴성과 안정성을 향상시켰다.
• 이 방법은 성공적으로 생산 환경에 도입되어 실제 모바일 게임에서 레벨 진전 설계 주기를 단축시켰다.