[논문 리뷰] OpenSpiel: A Framework for Reinforcement Learning in Games

Marc Lanctot, Edward Lockhart외 25명|arXiv (Cornell University)|2019. 08. 26.

Reinforcement Learning in Robotics참고 문헌 74인용 수 106

한 줄 요약

OpenSpiel은 일반 강화학습 및 게임 내 탐색을 위한 다양한 게임 유형을 지원하고 분석 도구를 제공하는 환경 및 알고리즘의 포괄적 프레임워크입니다.

ABSTRACT

OpenSpiel is a collection of environments and algorithms for research in general reinforcement learning and search/planning in games. OpenSpiel supports n-player (single- and multi- agent) zero-sum, cooperative and general-sum, one-shot and sequential, strictly turn-taking and simultaneous-move, perfect and imperfect information games, as well as traditional multiagent environments such as (partially- and fully- observable) grid worlds and social dilemmas. OpenSpiel also includes tools to analyze learning dynamics and other common evaluation metrics. This document serves both as an overview of the code base and an introduction to the terminology, core concepts, and algorithms across the fields of reinforcement learning, computational game theory, and search.

연구 동기 및 목표

• OpenSpiel을 게임과 알고리즘 작성 및 벤치마크 게임들에서 이를 평가하는 프레임워크로 소개합니다.
• 강화학습, 계산적 게임 이론, 탐색 간의 연결고리인 용어 정의, 핵심 개념, 알고리즘을 제시합니다.
• 연구자들에게 단순성, 접근성, 광범위한 적용 가능성이라는 설계 목표를 보여줍니다.

제안 방법

• 확장형 게임 표현과 그 확장(예: 동시이동 게임)들을 설명합니다.
• OpenSpiel API와 C++ 코어 및 Python 바인딩(pybind11)을 자세히 설명합니다.
• 기본, 탐색, 최적화 및 기존 RL 방법을 포함한 구현된 게임과 알고리즘을 조사합니다.
• 학습 알고리즘이 다중 에이전트 설정에서 어떻게 작동하는지, 합법적 액션 처리와 불완전 정보를 포함하여 설명합니다.
• Nash 균형 메트릭 및 시각화와 같은 학습 역학 평가 전략을 제시합니다.

실험 결과

연구 질문

• RQ1 OpenSpiel은 RL 연구를 위해 어떤 종류의 게임과 환경을 표현하고 지원할 수 있습니까?
• RQ2 어떤 알고리즘(기본, 탐색, 최적화, RL)이 구현되어 있으며 게임 표현과 어떻게 상호 작용합니까?
• RQ3 OpenSpiel 내에서 학습 역학과 균형을 어떻게 분석하고 시각화할 수 있습니까?
• RQ4 새로운 게임과 알고리즘을 프레임워크에 최소한의 마찰로 추가하려면 어떻게 해야 합니까?

주요 결과

• OpenSpiel은 n-플레이어 제로합, 협력 및 일반합, 단발 및 연속, 완전 정보 및 불완전 정보 게임은 물론 격자 세계와 사회적 딜레마를 지원합니다.
• C++ 코어와 Python 바인딩을 갖춘 통합 API를 제공하며, 많은 알고리즘이 C++ 및/또는 Python으로 구현되어 있습니다.
• 프레임워크에는 고전적 탐색(minimax, MCTS) 및 최적화(matrix games, sequence-form LP) 방법, 그리고 합법적 액션 제약에 적응된 전통적 RL 접근 방식(DQN, A2C, EVA)이 포함되어 있습니다.
• 부분적으로 관측 가능한 게임에 중점을 두고 XFP, NFSP, PSRO, Exploitability Descent, CFR 변형, RCFR, Deep CFR의 구현이 포함되어 있습니다.
• 학습 역학 및 NashConv, Exploitability와 같은 지표 평가 도구와 정책 및 진화 역학의 시각화가 포함되어 있습니다.