[논문 리뷰] Learning to Search with MCTSnets

Arthur Guez, Théophane Weber외 6명|arXiv (Cornell University)|2018. 02. 13.

Artificial Intelligence in Games참고 문헌 24인용 수 28

한 줄 요약

이 논문은 몬테카를로 트리 탐색(MCTS)을 수행할 수 있도록 엔드 투 엔드 학습을 통해 학습 가능한 구성요소로 수동으로 설정된 규칙을 대체하는 가중치가 가능한 신경망 아키텍처인 MCTSnets를 소개한다. 시뮬레이션 정책, 가치 평가 및 백업 연산을 위한 학습 가능한 요소로 구성되어 있다. 소코반 도메인에서 MCTSnets는 훨씬 적은 수의 시뮬레이션으로도 표준 MCTS 기준선을 능가하는 성능을 보였으며, 이는 학습된 탐색 전략이 수동으로 설정된 전략을 능가할 수 있음을 보여준다.

ABSTRACT

Planning problems are among the most important and well-studied problems in artificial intelligence. They are most typically solved by tree search algorithms that simulate ahead into the future, evaluate future states, and back-up those evaluations to the root of a search tree. Among these algorithms, Monte-Carlo tree search (MCTS) is one of the most general, powerful and widely used. A typical implementation of MCTS uses cleverly designed rules, optimized to the particular characteristics of the domain. These rules control where the simulation traverses, what to evaluate in the states that are reached, and how to back-up those evaluations. In this paper we instead learn where, what and how to search. Our architecture, which we call an MCTSnet, incorporates simulation-based search inside a neural network, by expanding, evaluating and backing-up a vector embedding. The parameters of the network are trained end-to-end using gradient-based optimisation. When applied to small searches in the well known planning problem Sokoban, the learned search algorithm significantly outperformed MCTS baselines.

연구 동기 및 목표

• 수동 규칙을 신경망 구성요소로 대체하는 엔드 투 엔드 가중치가 가능한 몬테카를로 트리 탐색(MCTS)의 학습 가능한, 엔드 투 엔드 가중치가 가능한 버전을 개발하는 것.
• MCTS 내부에서 시뮬레이션 정책, 가치 평가 및 백업 메커니즘의 기울기 기반 최적화를 가능하게 하는 것.
• 학습된 탐색 정책이 샘플 효율성과 성능 면에서 수동으로 설정된 MCTS를 능가할 수 있는지 조사하는 것.
• 가중치가 가능한 MCTS 프레임워크 내에서 내부 제어 흐름(예: 행동 선택)의 크레딧 할당 문제를 해결하는 것.
• 소코반과 같은 소규모 계획 작업에서 모델 기반 계획이 어려운 상황에서 MCTSnets의 효과성을 입증하는 것.

제안 방법

• MCTSnets는 각 탐색 트리의 노드를 메모리 벡터로 표현하며, 동적 계산 그래프를 사용해 전방 시뮬레이션과 후방 백업을 통해 이를 업데이트한다.
• 시뮬레이션 정책은 현재 메모리 벡터를 기반으로 행동을 선택하는 모odulated 정책 아키텍처를 통해 학습되며, 이는 가중치가 가능한 제어 흐름을 가능하게 한다.
• 리프 상태는 신경망을 통해 임bedding되어 메모리 벡터를 초기화하고, 값들은 학습 가능한 백업 네트워크를 통해 후방으로 전파된다.
• 비가중치가 가능한 행동 선택 과정을 거쳐 기울기를 역전파하기 위해 할인 인자 γ를 사용한 근사 크레딧 할당 기법이 사용된다.
• 전체 네트워크는 지도학습 또는 강화학습을 통해 엔드 투 엔드로 학습되며, 루트 예측 손실을 최적화한다.
• 가중치 공유를 통해 시뮬레이션 횟수 M이 임의의 수로 늘어나도 네트워크가 확장 가능하게 하여 효율적인 학습과 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망이 시뮬레이션 정책, 가치 함수 및 백업 규칙을 학습함으로써 수동으로 설정된 MCTS보다 MCTS를 더 효과적으로 수행할 수 있는가?
• RQ2 제안된 근사 크레딧 할당 기법이 비가중치가 가능한 시뮬레이션 정책 학습에 얼마나 효과적인가?
• RQ3 MCTSnets에서 학습된 탐색 전략이 유사하거나 더 적은 수의 시뮬레이션으로 표준 MCTS를 능가하는가?
• RQ4 MCTSnets는 전통적인 MCTS가 어려움을 겪는 복잡한 계획 작업(예: 소코반)으로 일반화 가능한가?
• RQ5 크레딧 할당 기법에서 할인 인자 γ가 학습 성능에 미치는 영향은 무엇인가?

주요 결과

• 25회의 시뮬레이션만으로도 학습된 시뮬레이션 정책을 가진 MCTSnets는 균일한 랜덤 시뮬레이션 정책을 사용하는 MCTS보다 성능이 뛰어나게 성과를 냈다.
• 크레딧 할당 기법에서 할인 인자 γ < 1을 사용한 경우, γ = 1보다 성능이 더 뛰어났으며, 특히 초기 학습 단계에서 두드러졌다.
• 가장 우수한 성능을 보인 MCTSnet 아키텍처는 표준 MCTS 기준선을 크게 능가했으며, 시뮬레이션 횟수가 한 자릿수 정도 적은 수준에서도 더 좋은 결과를 냈다.
• 학습된 사전 확률를 사용한 정제된 시뮬레이션 정책(엔트로피 정규화 적용)은 양호한 성능를 보였지만, 완전히 학습된 학습 정책의 성능을 따라오지 못했다.
• MCTSnets는 시뮬레이션 횟수 M에 따라 효과적으로 확장되었으며, M이 증가함에 따라 더 적은 학습 스텝 수로도 더 좋은 결과를 냈다. 이는 가중치 공유와 함께 개선된 정보 추출 덕분이었다.
• 결과적으로 학습된 탐색 알고리즘이 소코반과 같은 소규모 계획 문제에서도 수동으로 설정된 MCTS를 능가할 수 있음을 시사하며, 이는 복잡한 도메인에서 기존 MCTS를 대체할 잠재력이 있음을 시사한다.