[논문 리뷰] Non-myopic learning in repeated stochastic games

Jacob W. Crandall|arXiv (Cornell University)|2014. 09. 30.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 3

한 줄 요약

이 논문은 두 명의 플레이어가 참여하는 일반합(repeated stochastic games, RSGs)의 전략 공간을 소규모 전문 전략 집합으로 줄이는 메타게이밍 기법인 mega를 소개한다. 이는 문제를 다중 손잡이 슬롯머신 문제로 효과적으로 변환한다. 보안성과 최적 반응과 같은 핵심 게임이론적 성질을 유지함으로써, S++와 같은 표준 손잡이 알고리즘을 사용해 빠르고 강인한 학습을 가능하게 하며, 세 가지 RSG 환경에서 자가대전 및 다양한 상대방에 대해 기존 방법들을 능가한다.

ABSTRACT

In repeated stochastic games (RSGs), an agent must quickly adapt to the behavior of previously unknown associates, who may themselves be learning. This machine-learning problem is particularly challenging due, in part, to the presence of multiple (even infinite) equilibria and inherently large strategy spaces. In this paper, we introduce a method to reduce the strategy space of two-player general-sum RSGs to a handful of expert strategies. This process, called Mega, effectually reduces an RSG to a bandit problem. We show that the resulting strategy space preserves several important properties of the original RSG, thus enabling a learner to produce robust strategies within a reasonably small number of interactions. To better establish strengths and weaknesses of this approach, we empirically evaluate the resulting learning system against other algorithms in three different RSGs.

연구 동기 및 목표

• 알 수 없는 학습 상대방을 가진 두 명의 플레이어가 참여하는 일반합 반복 스토케스틱 게임(RSGs)에서 강인한 전략을 학습하는 데 도전하는 것.
• 다수의 균형점과 큰 전략 공간으로 인해 효과적인 학습이 어려워지는 일반합 RSGs에서 전통적인 게임 추상화 기법의 한계를 극복하는 것.
• 보안성, 최적 반응, 나시 균형과 같은 핵심 게임이론적 성질을 유지하는 전략 축소 방법을 개발하는 것.
• RSG를 다룰 수 있는 손잡이 문제로 변환함으로써 현실적인 시간 스케일 내에서 신속하고 비단기적 학습을 가능하게 하는 것.
• 다양한 RSG 환경에서 기존 알고리즘들과의 비교를 통해 학습 시스템의 강인성과 효율성을 경험적으로 평가하는 것.

제안 방법

• 두 명의 플레이어가 참여하는 일반합 RSGs에서 메타게이밍을 통한 게임 추상화를 적용하여 원래의 전략 공간을 축소하고, 유한한 전문 전략 집합(Φi)을 식별한다.
• 균형 계산(예: 나시 균형), 최소최대 전략, 공격 전략을 사용하여 전문 전략을 계산함으로써 강인성을 확보한다.
• 다양한 가중치 파rameter(ω)에 대해 MDP를 풀어 리더 전략을 구성함으로써 핵심 전략적 행동을 커버한다.
• 다항식 시간 계산을 통해 전략 집합 Φi를 유지하며, 각 라운드 후에 죄책감 및 기타 메트릭을 점진적으로 갱신한다.
• 축소된 전략 공간에서 표준 손잡이 알고리즘(S++, Exp3, UCB 등)을 사용하여 효과적인 정책을 신속하게 학습한다.
• 팔로워 전략이 사전 계산된 전문 전략 계산을 재사용할 수 있음을 활용하여 라운드당 오버헤드를 최소화한다.

실험 결과

연구 질문

• RQ1 전문 전략에서 유도된 축소된 전략 공간이 일반합 RSGs에서 보안성과 최적 반응과 같은 핵심 게임이론적 성질을 유지할 수 있는가?
• RQ2 알 수 없는 상대방이 존재하는 반복 스토케스틱 게임에서 mega 방법이 기존 알고리즘에 비해 얼마나 더 신속하고 강인한 학습을 가능하게 하는가?
• RQ3 지ay, 계산 시간, 수렴 속도 측면에서 mega의 성능은 모델 기반 강화 학습(MBRL)과 대조적 회귀 최소화(CFR)와 비교해 어떻게 되는가?
• RQ4 mega를 통한 전략 축소가 최고 성능을 내는 상대와 낮은 성능을 내는 동료를 포함한 다양한 상대 행동에 대해 효과성을 유지하는가?
• RQ5 복잡한 동역학과 큰 상태 공간을 가진 실제 RSGs에 대해 메타게이밍 접근법은 효율적으로 확장될 수 있는가?

주요 결과

• 마이크로그리드 시나리오에서 mega-S++는 평균 자가대전 수익으로 32.2를 기록했으며, 초기화 시간과 런타임 모두에서 CFR(17.6)와 MBRL(0.1)를 크게 앞섰다.
• 마이크로그리드 시나리오의 상위 5명의 상대와의 대결에서 mega-S++는 평균 수익 26.9를 기록했으며, 이는 CFR(23.4)와 MBRL(24.1)를 모두 초월했다.
• 블록 게임에서 저성능 상대(저성능 5명)와의 대결에서 mega-S++는 평균 수익 28.0을 기록했으며, CFR(24.4)와 MBRL(14.6)를 모두 뛰어넘었다.
• 마이크로그리드 시나리오에서 mega-S++는 총 실행 시간 10.2초를 기록했으며, 런타임은 단 0.9초에 불과했다. 이는 CFR의 930.0초와 MBRL의 91.4초에 비해 훨씬 낮았다.
• mega-S++의 초기화 시간은 최적화되지 않은 최소최대 계산에 의해 지배되어 있었으며, 이는 코드 최적화를 통해 성능을 추가로 향상시킬 수 있음을 시사한다.
• 메소드는 보안성과 최적 반응과 같은 핵심 게임이론적 성질을 유지하여, 상대의 전략이 동적으로 변화하더라도 강인한 성능을 발휘한다.