[論文レビュー] DREAM: Deep Regret minimization with Advantage baselines and Model-free learning

Eric Steinberger, Adam Lerer+1 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Bandit Algorithms Research被引用数 13

ひとこと要約

DREAMは、完璧なシミュレータを必要とせず、Leducポーカーやフロップ・テキサスホールデムポーカーなどの不完全情報2人ゼロサムゲームで最先端の性能を達成するモデルフリーの深層強化学習アルゴリズムである。学習されたアドバンテージベースラインと単一アクションサンプリングを用いたレグレット最小化により、分散を低減し、$\epsilon$-ナッシュ均衡に収束する。他のモデルフリー手法を上回り、シミュレーションベースのベースラインと同等の性能を発揮する。

ABSTRACT

We introduce DREAM, a deep reinforcement learning algorithm that finds optimal strategies in imperfect-information games with multiple agents. Formally, DREAM converges to a Nash Equilibrium in two-player zero-sum games and to an extensive-form coarse correlated equilibrium in all other games. Our primary innovation is an effective algorithm that, in contrast to other regret-based deep learning algorithms, does not require access to a perfect simulator of the game to achieve good performance. We show that DREAM empirically achieves state-of-the-art performance among model-free algorithms in popular benchmark games, and is even competitive with algorithms that do use a perfect simulator.

研究の動機と目的

• 不完全情報2人ゼロサムゲームにおいて、ナッシュ均衡に収束するモデルフリーの深層強化学習アルゴリズムを開発すること。
• 既存のニューラルCFR手法が低分散および良好な性能を達成するために必要としている完璧なシミュレータに依存しないこと。
• 単一アクションサンプリングと学習されたアドバンテージベースラインを用いて、モデルフリー設定でも効果的なレグレット最小化を可能にすること。
• Leducホールデムやフロップ・テキサスホールデムなどのベンチマークゲームにおいて、モデルフリー手法の中で最先端の性能を達成すること。
• 既存のモデルフリーベースライン（例：NFSP）と比較して、サンプルの複雑さと利用可能性の低減を図ること。

提案手法

• DREAMは、1つの意思決定ポイントごとに1つのアクションのみをサンプリングする神経ネットワーク型の反証的レグレット最小化（CFR）を採用し、モデルフリー学習を可能にしている。
• 単一アクションサンプリングにおける分散低減のため、表形式CFR技術にインspiredされた、サンプルベースの神経アドバンテージベースラインネットワーク$\hat{Q}$を用いている。
• 時間経過とともにレグレットを最小化し、神経ネットワークのモデル誤差に比例する$\epsilon$-ナッシュ均衡に収束する。
• 価値ネットワーク$\hat{D}^t$は、前の反復からのファインチューニングにより更新され、トレーニングのオーバーヘッドを低減している。リセット戦略の評価を目的としたアブレーションスタディが実施されている。
• ポリシーは、情報状態における価値関数と行動確率の近似にニューラルネットワークを用いた自己対戦によりトレーニングされている。
• ハイパーパrameterは、SD-CFRなどのベースラインと同等の1反復あたりの状態遷移回数に合わせて調整されており、公平な比較を保証している。

実験結果

リサーチクエスチョン

• RQ1 完璧なシミュレータにアクセスできない状況下でも、深層強化学習アルゴリズムが不完全情報ゲームで優れた性能を発揮できるか？
• RQ2 1つの意思決定ポイントで1つのアクションしかサンプリングしない状況下で、学習されたアドバンテージベースラインが、レグレット最小化における分散を効果的に低減できるか？
• RQ3 Leducホールデムおよびフロップ・テキサスホールデムポーカーにおいて、DREAMの性能はモデルフリーおよびシミュレーションベースのベースラインと比べてどの程度か？
• RQ4 価値ネットワークの更新戦略（例：リセット対ファインチューニング）の違いが、DREAMの収束性および利用可能性に与える影響は何か？
• RQ5 完全にモデルフリーであるにもかかわらず、SD-CFRのようなシミュレーションアルゴリズムの性能にどれほど近づけるか？

主な発見

• DREAMは、Leducホールデムにおいて、NFSPと比較して2桁の規模で利用可能性を低減させ、他のすべてのモデルフリー深層強化学習アルゴリズムを上回っている。
• フロップ・テキサスホールデムにおいて、DREAMは複数日間のトレーニング後、NFSPよりも低い利用可能性を達成しており、優れたサンプル効率を示している。
• 完璧なシミュレータを使用していないにもかかわらず、LeducホールデムにおいてSD-CFRと同等の性能を達成しており、学習されたベースラインがシミュレーションの欠如を補っていることを示している。
• 再トレーニングから始めず、ファインチューニングされた価値ネットワーク（$\hat{D}^t$）を用いることで、トレーニングのオーバーヘッドが顕著に低減され、性能の損失は最小限に抑えられている。
• アブレーションスタディの結果、$\hat{Q}$ベースラインネットワークには1反復あたり数個のミニバッチ更新で十分であることが判明し、計算コストが低いことが示された。
• DREAMは、神経ネットワークのモデル誤差に比例する$\epsilon$-ナッシュ均衡に収束し、理論的収束性が裏付けられた。