[논문 리뷰] Monte-Carlo Tree Search as Regularized Policy Optimization

Jean-Bastien Grill, Florent Altché외 5명|arXiv (Cornell University)|2020. 07. 24.

Reinforcement Learning in Robotics인용 수 34

한 줄 요약

이 논문은 AlphaZero 유사 MCTS 휴리스틱이 정규화된 정책 최적화 문제를 근사한다는 것을 보이고, 정확한 해를 사용하는 변형을 제안하여 더 나은 성능을 얻으며, 특히 시뮬레이션 예산이 적을 때 더 그렇다.

ABSTRACT

The combination of Monte-Carlo tree search (MCTS) with deep reinforcement learning has led to significant advances in artificial intelligence. However, AlphaZero, the current state-of-the-art MCTS algorithm, still relies on handcrafted heuristics that are only partially understood. In this paper, we show that AlphaZero's search heuristics, along with other common ones such as UCT, are an approximation to the solution of a specific regularized policy optimization problem. With this insight, we propose a variant of AlphaZero which uses the exact solution to this policy optimization problem, and show experimentally that it reliably outperforms the original algorithm in multiple domains.

연구 동기 및 목표

• MCTS(특히 AlphaZero)와 정규화된 정책 최적화(MPO) 간의 연결에 대한 동기를 부여한다.
• AlphaZero의 탐색 분포가 정규화된 정책 최적화 솔루션을 근사한다는 것을 보여준다.
• 정확한 MPO 해를 사용하는 AlphaZero의 변형을 제안하고 평가하여 강인성과 성능을 개선한다.

제안 방법

• 경험적 방문 분포 \u001bhat{\u0001d}와 이것의 정규화된 목적에 대한 관계를 정의한다.
• AlphaZero의 행동 선택이 KL-발산 정규화를 포함한 정규화된 정책 최적화의 해를 근사한다는 것을 보인다.
• 정확한 MPO 유사 해 \u001bar{\u0001d}를 도출하고 이를 경험적 방문 분포와 비교한다.
• 다양한 구성요소에서 \u001bh\u0000a0를 \u001bar{\u0001d}로 대체하는 세 가지 변형(Act, Search, Learn)을 제안한다.
• Act, Search, Learn을 결합한 All 변형을 제시하고 학습 타깃이 학습에 대해 \u001bar{\u0001d}를 사용함을 보인다.
• AlphaZero와 UCT를 정규화된 정책 최적화와 연관시키고 MCTS 기반 방법에 대한 더 넓은 함의를 논의한다.

실험 결과

연구 질문

• RQ1 AlphaZero의 탐색 정책이 정규화된 정책 최적화 해에 해당하는가?
• RQ2 경험적 방문 분포를 정확한 MPO 유사 해로 대체하는 것이 특히 낮은 시뮬레이션 예산에서 성능을 개선할 수 있는가?
• RQ3 MPO-유사 정책으로부터의 행동 샘플링이 MCTS 기반 에이전트의 학습, 탐색, 실제 행동 구성요소에 어떤 영향을 미치는가?
• RQ4 이 같은 통찰이 학습된 사전 정보를 가진 UCT 같은 다른 MCTS 변형에도 확장되는가?
• RQ5 제안된 변형이 Atari 및 연속 제어 도메인에서 실험적 이점을 가져오는가?

주요 결과

• AlphaZero 및 유사한 MCTS 방법은 정규화된 정책 최적화 문제의 해에 근사한다.
• \u001bar{\u0001d}와 같은 MPO 유사 해를 계산할 수 있으며 경험적 방문 분포보다 더 안정적인 타깃으로 사용할 수 있으며, 특히 낮은 시뮬레이션 예산에서 그렇다.
• 행동, 탐색, 학습에 대해 \u001bar{\u0001d}를 사용하는 All 변형은 낮은 시뮬레이션 예산에서 Atari Ms. Pac-Man 및 연속 제어 작업에서 기본 MuZero를 능가한다.
• \u001bar{\u0001d}-기반 접근법의 성능 이점은 작은 N_sim에서 가장 뚜렷하며, 시뮬레이션 예산이 커질수록 이점이 감소하고 이론적 수렴과 일치한다.
• 탐색 중 \u001bar{\u0001d}를 사용하는 것이 주목할 만한 이득을 주고, 학습에 사용하는 것이 매우 낮은 예산에서 도움이 된다; 여러 접근을 결합하면 모든 작업에서 강인한 개선을 이끈다.