[논문 리뷰] The Advantage Regret-Matching Actor-Critic

Audrūnas Gruslys, Marc Lanctot외 11명|arXiv (Cornell University)|2020. 08. 27.

Advanced Bandit Algorithms Research참고 문헌 36인용 수 8

한 줄 요약

이 논문은 모델에 의존하지 않는 강화학습 알고리즘인 이점 회귀매칭 액터-크리틱(ARMAC)을 소개한다. 이 알고리즘은 과거 정책의 버퍼를 유지하여 이산적 정책 평가기를 통해 조건부 이점을 후행적으로 추정함으로써, 중요도 샘플링 없이도 손실 최소화 정책 업데이트를 가능하게 한다. ARMAC는 무제한 텍사스 홀드아임에서 낮은 유용성 손실을 달성하며, LBR-FCPA에 승리하고 벤치마크 게임에서 MC-RCFR와 NFSP를 능가한다.

ABSTRACT

Regret minimization has played a key role in online learning, equilibrium computation in games, and reinforcement learning (RL). In this paper, we describe a general model-free RL method for no-regret learning based on repeated reconsideration of past behavior. We propose a model-free RL algorithm, the AdvantageRegret-Matching Actor-Critic (ARMAC): rather than saving past state-action data, ARMAC saves a buffer of past policies, replaying through them to reconstruct hindsight assessments of past behavior. These retrospective value estimates are used to predict conditional advantages which, combined with regret matching, produces a new policy. In particular, ARMAC learns from sampled trajectories in a centralized training setting, without requiring the application of importance sampling commonly used in Monte Carlo counterfactual regret (CFR) minimization; hence, it does not suffer from excessive variance in large environments. In the single-agent setting, ARMAC shows an interesting form of exploration by keeping past policies intact. In the multiagent setting, ARMAC in self-play approaches Nash equilibria on some partially-observable zero-sum benchmarks. We provide exploitability estimates in the significantly larger game of betting-abstracted no-limit Texas Hold'em.

연구 동기 및 목표

• 함수 근사법을 사용하여 큰 상태 공간으로 확장 가능한, 모델에 의존하지 않는 강화학습 알고리즘을 개발하여, 복잡한 상태 공간에서 손실 최소화를 일반화한다.
• 큰 환경에서 몬테카를로 대조적 손실 최소화(CFR)의 높은 분산 문제를 중요도 샘플링을 피하는 방식으로 해결한다.
• 저장된 과거 정책을 사용한 후행적 정책 개선을 통해 비정적 다중 에이전트 환경에서 안정적인 학습을 가능하게 한다.
• ARMAC가 최적의 대응 계산이나 전문가 특징 없이도 복잡한 게임인 무제한 텍사스 홀드아임에서 낮은 유용성 손실 정책으로 수렴할 수 있음을 입증한다.

제안 방법

• ARMAC는 과거 정책의 버퍼를 유지하고, 이를 재생하여 과거 행동의 후행적 평가를 재구성한다.
• 이 알고리즘은 이산적 정책 평가기를 사용하여 조건부 이점 $ W_i(s,a) $ 를 추정하며, 이는 상태에 따라 변하는 요소 $ B(s) $ 로 스케일링된 대조적 손실 $ R_i(s,a) $ 를 의미한다.
• 추정된 조건부 이점에 대해 손실 매칭을 적용하여 새로운 정책을 생성함으로써, 전체 손실 누적을 요구하지 않으면서도 CFR의 행동을 모방한다.
• 표준 정책 평가 기법을 활용하여 샘플링된 궤적에서 평가기를 훈련함으로써, 중심화된 모델에 의존하지 않는 설정에서 종단 간 훈련을 가능하게 한다.
• 과거 정책의 가치 추정치를 사용함으로써 중요도 샘플링을 피함으로써, 큰 환경에서의 분산을 감소시킨다.
• 다중 에이전트 환경에서는 ARMAC가 정책 재생과 함께 자가 플레이를 사용하여 부분 관측 가능한 0-합 게임에서 나시 균형에 접근한다.

실험 결과

연구 질문

• RQ1 모델에 의존하지 않는 강화학습 알고리즘이 중요도 샘플링에 의존하지 않고 큰 순차적 의사결정 문제에서 무손실 학습을 달성할 수 있는가?
• RQ2 저장된 과거 정책과 가치 추정치를 사용한 후행적 정책 개선이 복잡한 게임에서 안정적이고 낮은 유용성 손실 정책을 도출할 수 있는가?
• RQ3 ARMAC는 NFSP, MC-RCFR, Deep CFR와 같은 기존 방법과 비교해 복잡성과 수렴 속도 측면에서 어떻게 성능을 내는가?
• RQ4 ARMAC는 정방향 모델이나 전문가 특징 없이도 큰 규모의 게임, 예를 들어 무제한 텍사스 홀드아임에 확장 가능한가?

주요 결과

• ARMAC는 무제한 텍사스 홀드아임에서 LBR-FCPA와의 대결에서 평균 519 ± 81 콜드칩의 승률을 기록하여 이 강력한 베이스라인에 의해 유용성 손실을 입지 않았음을 시사한다.
• 단지 1시간의 훈련(300만 개의 액션 스텝) 후, ARMAC는 LBR-FC12-FCPA34를 561 ± 163 콜드칩의 승률로 압도하여 정책 향상 속도가 매우 빠름을 보였다.
• 18일간의 훈련 후, ARMAC는 LBR-FC(단지 폴드와 콜만 사용)에 의해 -46 ± 26 콜드칩의 손실을 입어, 매우 제한된 행동 집합을 다루는 데에 한계가 있음을 시사했다.
• 벤치마크 게임에서 ARMAC는 MC-RCFR보다 낮은 나시컨버전스(NashConv) 값을 기록했고, NFSP와 비교해도 유사하거나 더 좋은 결과를 보였다. 이는 강력한 균형 수렴 성능을 의미한다.
• 알고리즘은 과거 정책을 유지함으로써 독특한 형태의 탐색을 보였으며, 이는 단일 에이전트 환경에서의 안정적 학습에 기여했다.
• ARMAC는 무제한 텍사스 홀드아임에서의 유용성 손실 경계를 확보하였으며, 저자들의 지식으로는 이 클래스의 알고리즘 중 최초로 보고된 사례였다.