[論文レビュー] The Advantage Regret-Matching Actor-Critic

Audrūnas Gruslys, Marc Lanctot+11 more|arXiv (Cornell University)|Aug 27, 2020

Advanced Bandit Algorithms Research参考文献 36被引用数 8

ひとこと要約

この論文では、過去の方策のバッファを用いて、オフポリシーの評価者を介して条件付きアドバンテージを後向きに推定するモデルフリー強化学習アルゴリズム、Advantage Regret-Matching Actor-Critic (ARMAC) を紹介する。この手法により、重要度サンプリングを回避しつつ、レジット最小化に基づく方策更新が可能となる。ARMAC は、ノーリミット・テキサスホールデムにおいて低犠牲性を達成し、LBR-FCPA よりも優れた成績を示し、ベンチマークゲームにおいて MC-RCFR や NFSP よりも優れた性能を示した。

ABSTRACT

Regret minimization has played a key role in online learning, equilibrium computation in games, and reinforcement learning (RL). In this paper, we describe a general model-free RL method for no-regret learning based on repeated reconsideration of past behavior. We propose a model-free RL algorithm, the AdvantageRegret-Matching Actor-Critic (ARMAC): rather than saving past state-action data, ARMAC saves a buffer of past policies, replaying through them to reconstruct hindsight assessments of past behavior. These retrospective value estimates are used to predict conditional advantages which, combined with regret matching, produces a new policy. In particular, ARMAC learns from sampled trajectories in a centralized training setting, without requiring the application of importance sampling commonly used in Monte Carlo counterfactual regret (CFR) minimization; hence, it does not suffer from excessive variance in large environments. In the single-agent setting, ARMAC shows an interesting form of exploration by keeping past policies intact. In the multiagent setting, ARMAC in self-play approaches Nash equilibria on some partially-observable zero-sum benchmarks. We provide exploitability estimates in the significantly larger game of betting-abstracted no-limit Texas Hold'em.

研究の動機と目的

• 関数近似を用いて、大規模な状態空間へのレジット最小化の一般化を実現するスケーラブルなモデルフリー強化学習アルゴリズムの開発。
• 大規模な環境におけるモンテカルロ反証的レジット最小化（CFR）の高分散問題に対処し、重要度サンプリングを回避すること。
• 保存された過去の方策を用いた後向き方策改善により、非定常なマルチエージェント環境でも安定した学習を可能にすること。
• ARMAC が、最良応答の計算やエキスパート特徴量を必要とせずに、複雑なゲーム（例：ノーリミット・テキサスホールデム）において低犠牲性の政策に収束できることを示すこと。

提案手法

• ARMAC は過去の方策のバッファを維持し、それらを再プレイすることで、過去の行動のヒンターレイズ的評価を再構築する。
• オフポリシーの評価者を用いて、条件付きアドバンテージ $ W_i(s,a) $ を推定し、これは状態依存係数 $ B(s) $ でスケーリングされた反証的レジット $ R_i(s,a) $ に相当する。
• 推定された条件付きアドバンテージに基づいてレジットマッチングを適用し、完全なレジット蓄積を必要とせずに、CFR の動作を模倣する新しい方策を生成する。
• 標準的な方策評価技術を活用して、サンプルされた軌道上で評価者を学習させ、中央集権的でモデルフリーな設定でエンドツーエンドの学習を可能にする。
• 過去の方策からの価値推定を用いることで、重要度サンプリングを回避し、大規模な環境における分散を低減する。
• マルチエージェント設定では、自己対戦と方策再プレイを用いて、部分的に観測可能なゼロサムゲームにおけるナッシュ均衡に近づく。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーRLアルゴリズムは、重要度サンプリングに依存せずに、大規模な順序的意思決定問題においてノーレジット学習を達成できるか？
• RQ2 保存された過去の方策と価値推定を用いた後向き方策改善は、複雑なゲームにおいて安定した低犠牲性方策を生み出せるか？
• RQ3 ARMAC は、NFSP や MC-RCFR や Deep CFR といった既存手法と比較して、犠牲性と収束速度の点でどのように異なるか？
• RQ4 ARMAC は、フォワードモデルやエキスパート特徴量を必要とせずに、ノーリミット・テキサスホールデムのような大規模ゲームにスケーリング可能か？

主な発見

• ノーリミット・テキサスホールデムにおいて、ARMAC は LBR-FCPA に対して平均 519 ± 81 チップ/エピソードの勝率を記録し、この強いベースラインに対しては悪用されなかった。
• わずか 1 時間の学習（300万ステップのアクション）後、ARMAC は LBR-FC12-FCPA34 に 561 ± 163 チップ/エピソードで勝利し、急速な方策改善が確認された。
• 18 日間の学習後、ARMAC は LBR-FC（フォールドとキャリーのみ）に -46 ± 26 チップ/エピソードで悪用された。これは、極めて制限された行動集合の処理に限界があることを示唆している。
• ベンチマークゲームでは、ARMAC は MC-RCFR よりも低い NashConv 値を達成し、NFSP と同等またはより優れた結果を示した。これは、強い均衡収束を示している。
• アルゴリズムは、過去の方策を保存することで、単一エージェント設定における安定した学習に寄与する独自の形の探索を示した。
• ARMAC は、著者らの知る限り、このクラスのアルゴリズムにおいて、ノーリミット・テキサスホールデムで犠牲性の境界を初めて報告した。