[논문 리뷰] From Poincaré Recurrence to Convergence in Imperfect Information Games: Finding Equilibrium via Regularization

Julien Pérolat, Rémi Munos외 11명|arXiv (Cornell University)|2020. 02. 19.

Reinforcement Learning in Robotics참고 문헌 54인용 수 17

한 줄 요약

이 논문은 정규형 게임에서 Poincaré 재입력 결과를 순차적 불완전 정보 게임(IIGs)으로 확장하며, Follow the Regularized Leader (FoReL) 동역학이 이러한 환경에서 순환할 수 있음을 보여준다. 정규화를 통한 보상 변환을 도입함으로써, 단조성 및 0-합 IIGs에서 네시 균형에 강력 수렴함을 입증하며, 이는 NeuRD와 같은 최신의 모델-프리 딥 강화학습 알고리즘들이 실시간으로 균형 정책에 수렴할 수 있도록 한다.

ABSTRACT

In this paper we investigate the Follow the Regularized Leader dynamics in sequential imperfect information games (IIG). We generalize existing results of Poincaré recurrence from normal-form games to zero-sum two-player imperfect information games and other sequential game settings. We then investigate how adapting the reward (by adding a regularization term) of the game can give strong convergence guarantees in monotone games. We continue by showing how this reward adaptation technique can be leveraged to build algorithms that converge exactly to the Nash equilibrium. Finally, we show how these insights can be directly used to build state-of-the-art model-free algorithms for zero-sum two-player Imperfect Information Games (IIG).

연구 동기 및 목표

• 시간 평균 정책은 수렴하지만 실제 정책이 수렴하지 않는 불완전 정보 게임(IIGs)에서의 실시간 수렴 부족 문제를 해결한다.
• 정규형 게임에서의 Poincaré 재입력 이론 결과를 순차적 IIGs로 확장하여, FoReL 동역학이 이러한 환경에서 순환할 수 있음을 보여준다.
• 정규화를 통한 보상 구조 수정이 단조성 및 0-합 게임에서의 수렴 보장을 향상시키는 방식을 조사한다.
• 보상 변환을 통해 의사결정 기반의 반복적 정밀화 방법을 개발하여 정확한 네시 균형에 도달한다.
• 이론적 통찰을 활용해 실시간 성능을 내는 모델-프리 딥 RL 알고리즘(NeuRD)을 설계 및 평가하여 IIGs에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 단조성 및 0-합 구조를 가정하여 FoReL 동역학을 분석함으로써, 순차적 IIGs로 Poincaré 재입력을 일반화한다.
• 게임의 수익 구조를 안정화하고 수렴을 보장하기 위해 보상 변환(정규화)을 도입한다.
• 점차 정확도가 향상되는 정규화 매개변수의 시퀀스를 사용하여 진정한 네시 균형으로 수렴하는 의사결정 기반의 근사해 시퀀스를 생성한다.
• 가장자리 기반 딥 강화학습 알고리즘에 정규화된 보상 함수를 적용하여 Q-학습 업데이트를 특화한다.
• 정책 및 Q-값 추정을 위한 별도의 네트워크를 갖는 이중 스트림 아키텍처를 사용하는 모델-프리 딥 RL 알고리즘인 NeuRD를 구현하며, 경험 재생 및 타겟 네트워크를 사용해 훈련한다.
• 대규모 IIGs에서의 훈련 안정성과 수렴성을 향상시키기 위해 정규화 매개변수(eta)의 지수 감소 및 적응형 스케줄링을 적용한다.

실험 결과

연구 질문

• RQ1 정규형 게임에서 알려진 Poincaré 재입력이 순차적 불완전 정보 게임으로 일반화될 수 있는가?
• RQ2 정규화를 통한 보상 조정이 단조성 및 0-합 IIGs에서 FoReL 동역학의 수렴 성질에 어떤 영향을 미치는가?
• RQ3 원래 게임의 네시 균형으로 수렴하는 균형을 갖는 정규화된 게임의 시퀀스를 구성할 수 있는가?
• RQ4 보상 정규화가 대규모 IIGs에서 딥 RL 정책의 실시간 네시 균형 수렴 가능성을 어느 정도 향상시킬 수 있는가?
• RQ5 정규화에서 도출된 이론적 통찰이 실용적이고 확장 가능한 IIGs를 위한 딥 강화학습 알고리즘으로 효과적으로 이행될 수 있는가?

주요 결과

• Poincaré 재입력이 순차적 2명 참가자 0-합 불완전 정보 게임으로 일반화되었으며, FoReL 동역학이 이러한 환경에서 순환할 수 있음을 증명하였다.
• 보상 정규화는 원래 게임의 동역학이 재입력될 수 있음에도 불구하고 정책이 네시 균형으로 수렴하도록 보장하는 방식으로 게임을 변형한다.
• 이 방법은 원래 게임의 네시 균형으로 수렴하는 정규화된 게임의 시퀀스를 생성하며, 반복적 정밀화를 통해 정확한 수렴을 가능하게 한다.
• 제안된 정규화 프레임워크를 기반으로 한 딥 RL 알고리즘인 NeuRD는 Kuhn 포커, Leduc 포커, Liars Dice, GoofSpiel에서 최신 기술 수준의 성능을 달성하였으며, 실시간으로 균형 정책에 수렴하였다.
• 실험 결과, 정규화 매개변수(eta)의 적응형 및 지수 감소 스케줄링이 여러 IIGs에서 훈련 안정성과 수렴 속도를 크게 향상시켰다.
• 모든 테스트 환경에서 정규화를 적용한 정책은 실시간으로 네시 균형으로 수렴하는 반면, 표준 FoReL은 재입력 행동을 보였다.