[논문 리뷰] Multiplayer AlphaZero

Nick Petosa, Tucker Balch|arXiv (Cornell University)|2019. 10. 29.

Artificial Intelligence in Games참고 문헌 7인용 수 12

한 줄 요약

이 논문은 다인용, 비제로섬 게임에 적합한 자가대전 강화학습을 가능하게 하는 다인용 알파제로(Multiplayer AlphaZero)를 제안한다. 몬테카를로 트리 탐색(MCTS)을 다수의 플레이어를 순환하게 수정하고, 다중 에이전트 결과를 위한 가치 및 정책 헤드를 재정의함으로써, 효과적인 자가대전 학습을 가능하게 한다. 이 방법은 3인용 게임인 틱택모(Tic-Tac-Mo)와 커넥트 3x3(Connect 3x3)에서 강력한 에이전트를 성공적으로 학습시켰으며, 더 적은 수의 롤아웃으로 MCTS 기반 모델을 일관되게 능가함으로써, 알파제로를 다인용 환경에 적용할 수 있음을 입증한다.

ABSTRACT

The AlphaZero algorithm has achieved superhuman performance in two-player, deterministic, zero-sum games where perfect information of the game state is available. This success has been demonstrated in Chess, Shogi, and Go where learning occurs solely through self-play. Many real-world applications (e.g., equity trading) require the consideration of a multiplayer environment. In this work, we suggest novel modifications of the AlphaZero algorithm to support multiplayer environments, and evaluate the approach in two simple 3-player games. Our experiments show that multiplayer AlphaZero learns successfully and consistently outperforms a competing approach: Monte Carlo tree search. These results suggest that our modified AlphaZero can learn effective strategies in multiplayer game scenarios. Our work supports the use of AlphaZero in multiplayer games and suggests future research for more complex environments.

연구 동기 및 목표

• 원래 이중자율 게임을 위한 것으로 설계된 알파제로 알고리즘을 다인용 환경으로 확장하기 위해.
• 완전 정보를 가진 비제로섬, 다인용 게임에서 자가대전 강화학습이 효과적으로 작동할 수 있는지 조사하기 위해.
• 다수의 플레이어와 비대칭 결과를 지원하는 수정된 MCTS 및 신경망 아키텍처를 개발하고 평가하기 위해.
• 다인용 알파제로 성능을 MCTS 기반 모델 및 인간 플레이어와 비교하기 위한 경험적 기준 설정하기 위해.

제안 방법

• 롤아웃 중에 두 플레이어가 번갈아가며 진행하는 대신, 모든 플레이어를 순환하게 수정한 MCTS를 사용하여 다중 에이전트 트리 탐색을 가능하게 하였다.
• 단일 플레이어 가치 헤드를 각 플레이어의 기대 유용도를 출력하는 다중 플레이어 가치 헤드로 교체하였다.
• 정책 헤드를 액션에 대한 확률 분포로 유지하였지만, 탐색 중 현재 플레이어의 시점에 맞게 조정하였다.
• 에이전트들이 서로 대전하는 자가대전 학습 루프를 사용하여 전이를 재플레이 버퍼에 저장하고 학습에 활용하였다.
• 보상과 정책 출력을 예측할 수 있도록 보드 상태를 처리하는 잔차 컨볼루션 신경망을 SENet 유사 아키텍처로 학습시켰다.
• 가장 작은 제곱 오차를 통한 가치 예측과 교차 엔트로피를 통한 정책 예측을 조합한 손실 함수를 적용하였으며, 확률적 경사 하강법으로 최적화하였다.

실험 결과

연구 질문

• RQ1 아키텍처 및 알고리즘 수정을 통해 알파제로를 다인용 게임으로 성공적으로 확장할 수 있는가?
• RQ2 유사한 수의 롤아웃을 사용할 때, 수정된 알파제로 알고리즘이 다인용 환경에서 전통적인 MCTS를 능가하는가?
• RQ3 커넥트 3x3와 같이 깊은 게임 트리가 존재하는 다인용 게임에서 학습된 히ュ리스틱의 안정성과 일반화 능력은 어떠한가?
• RQ4 완전한 수렴이 이루어지지 않은 상태에서도 인간 플레이어를 능가할 정도로 충분히 일반화된 성능을 보일 수 있는가?

주요 결과

• 틱택모에서 다인용 알파제로는 50회의 롤아웃으로 3000회의 롤아웃을 사용한 MCTS와 동일한 성능을 달성하여 높은 샘플 효율성을 입증하였다.
• 틱택모와 커넥트 3x3 양 쪽 모두에서 롤아웃 수가 증가함에 따라 알파제로가 MCTS 에이전트를 일관되게 능가하였으며, 점수 차이가 항상 음수가 아니었다.
• 커넥트 3x3에서 알파제로는 인간 플레이어와의 대국에서 79%의 승률을 기록하여, 완전한 수렴이 이루어지지 않은 상태에서도 강력한 일반화 능력을 보였다.
• 학습 과정 내내 신경망 손실이 안정적으로 유지되었으며, 발산하지 않아 효과적인 지식 통합과 일반화가 이루어졌음을 시사하였다.
• 손실이 안정되었음에도 불구하고 네트워크가 완전히 수렴하지는 않아 복잡한 다인용 게임에서 정복하기 위해 추가적인 하이퍼파라미터 튜닝이 필요함을 시사하였다.
• 통제용 MCTS 에이전트가 동일한 수의 롤아웃을 사용했음에도 불구하고 대부분의 경우 알파제로에 밀렸으며, 이는 학습된 히ュ리스틱의 가치를 확인하는 데 기여하였다.