[논문 리뷰] Can Deep Reinforcement Learning Solve Erdos-Selfridge-Spencer Games?

Maithra Raghu, Alex Irpan외 4명|arXiv (Cornell University)|2017. 11. 07.

Reinforcement Learning in Robotics참고 문헌 14인용 수 8

한 줄 요약

이 논문은 딥 강화 학습(DRL) 알고리즘을 평가하기 위한 분석 가능한 새로운 환경으로 에르되시-셀프리지-스펜서(ESS) 게임을 소개한다. 이 게임들은 최적의 플레이에 대해 알려진 선형 폐형 해를 갖는 저차원적이고 파arameter화 가능한 설정을 제공하여, DRL 성능, 일반화 및 다중에이전트 역학의 정밀한 진단이 가능하다. 이는 적절하게 설정된 DRL이 이러한 게임을 해결할 수 있음을 보여주며, 특히 자기대칭(self-play)을 통한 학습이 효과적임을 시사한다.

ABSTRACT

Deep reinforcement learning has achieved many recent successes, but our understanding of its strengths and limitations is hampered by the lack of rich environments in which we can fully characterize optimal behavior, and correspondingly diagnose individual actions against such a characterization. Here we consider a family of combinatorial games, arising from work of Erdos, Selfridge, and Spencer, and we propose their use as environments for evaluating and comparing different approaches to reinforcement learning. These games have a number of appealing features: they are challenging for current learning approaches, but they form (i) a low-dimensional, simply parametrized environment where (ii) there is a linear closed form solution for optimal behavior from any state, and (iii) the difficulty of the game can be tuned by changing environment parameters in an interpretable way. We use these Erdos-Selfridge-Spencer games not only to compare different algorithms, but test for generalization, make comparisons to supervised learning, analyse multiagent play, and even develop a self play algorithm. Code can be found at: this https URL

연구 동기 및 목표

• 딥 강화 학습(DRL) 알고리즘의 진단을 위해 완전히 특성화된 최적 행동을 갖는 환경의 부족을 해결하기 위해.
• 해석 가능한 조절 가능한 난이도와 최적 플레이에 대해 알려진 선형 폐형 해를 갖는 조합 게임의 가족을 제공하기 위해.
• 최적 행동이 해석 가능하게 분석 가능한 환경에서 DRL 성능, 일반화 및 다중에이전트 역학을 평가하기 위해.
• 최적 행동의 기준이 되는 진실과 비교하여 DRL 접근법, 특히 지도 학습 기반 모델과 자기대칭 알고리즘을 평가하기 위해.
• ESS 게임 환경에서 근사 최적 성능을 달성하는 자기대칭 알고리즘을 개발하고 테스트하기 위해.

제안 방법

• 저자는 에르되시, 셀프리지, 스펜서의 영감을 받은 조합 게임의 가족을 정의하며, 플레이어들이 승리 집합을 완성하지 않도록 번갈아가며 원소를 선택한다.
• 이 환경은 저차원적이며 게임 크기와 승리 집합의 구조로 파arameter화되어 있어 난이도를 체계적으로 조절할 수 있다.
• 최적 플레이는 게임 이론적 분석을 통해 유도된 선형 폐형 해로 특성화되며, 학습된 정책과의 정확한 비교를 가능하게 한다.
• DRL 에이전트는 딥 Q 네트워크 또는 정책 기반 강화 학습 방법을 사용해 훈련되며, 분석적 최적 정책과의 성능 비교로 평가된다.
• 자기대칭은 에이전트가 상호 훈련하며, 자기대칭 결과에 기반해 정책을 업데이트함으로써 구현된다.
• 일반화 능력은 한 구성에서 훈련된 정책이 다른 파arameter를 갖는 미사용 구성에서 평가됨으로써 테스트된다.

실험 결과

연구 질문

• RQ1 알려진 해석 가능한 해를 갖는 조합 게임에서 딥 강화 학습 알고리즘이 최적 정책을 학습할 수 있는가?
• RQ2 최적 정책이 알려져 있을 때, 일부 구성에서 훈련된 DRL 에이전트는 다른 게임 파arameter화된 구성 간에 얼마나 잘 일반화되는가?
• RQ3 최적 정책이 알려져 있을 경우, DRL 성능는 지도 학습 기반 모델과 비교해 어떻게 나타나는가?
• RQ4 이 환경에서 자기대칭 알고리즘이 최적 또는 근사 최적 행동으로 수렴할 수 있는가?
• RQ5 분석적으로 유도된 최적 정책과 비교함으로써 DRL 행동에 대한 통찰을 얻을 수 있는가?

주요 결과

• 적절한 알고리즘으로 훈련된 딥 강화 학습 에이전트는 에르되시-셀프리지-스펜서 게임에서 근사 최적 정책을 성공적으로 학습할 수 있다.
• 자기대칭 훈련은 분석적으로 유도된 최적 정책에 가까운 성능을 보이는 정책을 도출한다.
• 훈련 분포가 테스트 분포를 충분히 커버하도록 철저히 설계되지 않은 이상, 다양한 게임 파arameter화 간의 일반화 능력은 제한된다.
• 최적 정책을 모방하는 지도 학습 기반 모델은 최적 정책이 이용 가능한 경우 표준 DRL 에이전트보다 성능이 뛰어나다.
• 분석적 해는 DRL 실패 원인(예: 최적의 탐색 부족 또는 정책 붕괴)을 정밀하게 진단할 수 있게 하며, 이는 더 복잡한 환경에서는 감지하기 어려운 문제들이다.
• 이 환경는 현재 DRL 방법의 한계를 성공적으로 드러내며, 하이퍼파라미터에 대한 민감성과 열악한 제로샷 일반화 능력 등의 문제점을 보여준다.