[논문 리뷰] Learning Policies from Self-Play with Policy Gradients and MCTS Value Estimates

Dennis J. N. J. Soemers, Éric Piette외 2명|arXiv (Cornell University)|2019. 05. 14.

Artificial Intelligence in Games참고 문헌 41인용 수 5

한 줄 요약

이 논문은 정책 기반 강화학습에서 탐색을 유도하지 않으면서 MCTS 성능의 기대값을 최대화하는 데 목적이 있는 새로운 정책 그래เดียน트 목적함수 TSPG를 제안한다. 이는 MCTS의 가치 추정치를 사용해 그래디언트를 추정한다. 실험적으로 TSPG는 엔트로피가 낮고 특징 가중치가 더 해석 가능한 정책을 생성하여 교차 엔트로피 학습보다 우수한 성능을 보이며, 체스와 같은 보드 게임에서 전략 추출에 더 적합하다.

ABSTRACT

In recent years, state-of-the-art game-playing agents often involve policies that are trained in self-playing processes where Monte Carlo tree search (MCTS) algorithms and trained policies iteratively improve each other. The strongest results have been obtained when policies are trained to mimic the search behaviour of MCTS by minimising a cross-entropy loss. Because MCTS, by design, includes an element of exploration, policies trained in this manner are also likely to exhibit a similar extent of exploration. In this paper, we are interested in learning policies for a project with future goals including the extraction of interpretable strategies, rather than state-of-the-art game-playing performance. For these goals, we argue that such an extent of exploration is undesirable, and we propose a novel objective function for training policies that are not exploratory. We derive a policy gradient expression for maximising this objective function, which can be estimated using MCTS value estimates, rather than MCTS visit counts. We empirically evaluate various properties of resulting policies, in a variety of board games.

연구 동기 및 목표

• 자기상대 학습에서 표준 교차 엔트로피 손실이 유도하는 탐색적 행동을 피하는 정책 학습 목적함수를 개발하는 것.
• 정책 엔트로피를 감소시켜 더 결정론적이고 명확한 행동 선택을 가능하게 하여 학습된 정책에서 해석 가능한 명확한 전략을 추출하는 것.
• MCTS 방문 수를 모방하는 것보다 MCTS 예상 결과를 최적화함으로써 자기상대 학습에서 정책 성능을 향상시키는 것.
• 가치 기반 정책 그래디언트가 더 뚜렷하고 해석 가능한 특징 가중치 분포를 유도하는지 조사하는 것.
• 다양한 보드 게임에서 TSPG와 교차 엔트로피 손실을 사용해 학습된 정책의 해석 가능성과 강도를 비교하는 것.

제안 방법

• 정책을 플레이아웃 정책으로 사용할 때 MCTS의 기대 수익을 최대화하는 데 목적이 있는 새로운 정책 그래디언트 목적함수 TSPG를 제안한다.
• MCTS 방문 수나 행동 분포가 아니라 MCTS 가치 추정치를 감독으로 사용하는 정책 그래디언트 표현을 유도한다.
• 자기상대 학습을 수행하며 정책 업데이트와 MCTS 롤아웃을 번갈아가며, MCTS는 현재 정책을 사용해 선택을 유도하고 가치 추정치를 학습에 활용한다.
• 유연한 정책 파rameterization을 통해 유도된 TSPG 그래디언트를 사용해 확률적 경사 하강법으로 정책을 학습한다.
• 행동에 대한 특징 기반 표현을 사용하여 특징 중요도 분석과 학습된 전략의 해석 가능성 가능성을 높인다.
• 엔트로피, 강도, 특징 가중치 분포 측면에서 TSPG로 학습된 정책과 교차 엔트로피로 학습된 정책을 비교한다.

실험 결과

연구 질문

• RQ1 MCTS 성능의 기대값을 최대화하도록 정책을 학습시키는 것이 MCTS 행동을 모방하는 교차 엔트로피 학습보다 더 강력한 독립 정책을 도출하는가?
• RQ2 TSPG 목적함수가 얼마나 정책 엔트로피를 감소시켜 더 결정론적이고 해석 가능한 행동 선택을 가능하게 하는가?
• RQ3 TSPG와 교차 엔트로피로 학습된 정책 간의 특징 가중치 분포는 어떻게 다른가? 이는 전략의 해석 가능성에 영향을 미치는가?
• RQ4 TSPG 정책에 의해 편향된 MCTS 에이전트가 교차 엔트로피 정책을 사용하는 에이전트보다 더 높은 성능을 내는가?
• RQ5 교차 엔트로피와 TSPG 목적함수를 사용할 때 정책 강도와 해석 가능성 사이에 상충 관계가 존재하는가?

주요 결과

• TSPG 목적함수로 학습된 정책는 다양한 보드 게임에서 독립적인 게임 성능에서 교차 엔트로피 손실로 학습된 정책보다 항상 우수하거나 동등한 성능을 보였다.
• TSPG 정책는 행동 분포에서 유의미하게 낮은 엔트로피를 보이며, 탐색이 감소하고 더 결정론적인 행동을 취함을 시사한다.
• TSPG 정책의 특징 가중치 분포는 더 넓은 값 범위를 보이며, 특징 간의 차이가 더 두드러져 해석 가능성을 향상시킨다.
• MCTS 행동을 명시적으로 모방하지 않았음에도 불구하고, TSPG 정책는 교차 엔트로피 정책보다 Biased MCTS의 엔트로피에 더 가까운 행동 분포를 생성한다.
• 교차 엔트로피 정책는 더 탐색적이지만 높은 엔트로피로 인해 MCTS 평가가 더 균형을 이룰 수 있어, 강도와 해석 가능성 사이에 상충 관계가 있음을 시사한다.
• TSPG 목적함수는 더 명확한 특징 중요도 순위를 가능하게 하여 향후 학습된 정책에서 전략 추출을 지원한다.