[論文レビュー] Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning

Anton Bakhtin, David Wu+6 more|arXiv (Cornell University)|Oct 11, 2022

Artificial Intelligence in Games被引用数 10

ひとこと要約

この論文は、DiL-piKLを介して人間による正則化付き計画を統合する自己対戦強化学習フレームワーク、RL-DiL-piKLを紹介する。この手法により、協力的・競争的ゲームにおいて人間と協力的に強く振る舞うエージェントの訓練が可能になる。200ゲームのプレスなしDiplomacy大会において、この手法で訓練された2体のDiplodocusエージェントは、全参加者の中で最高の平均得点を記録し、総合1位および3位にランクされ、2ゲーム以上プレイした全人類プレーヤーを上回った。

ABSTRACT

No-press Diplomacy is a complex strategy game involving both cooperation and competition that has served as a benchmark for multi-agent AI research. While self-play reinforcement learning has resulted in numerous successes in purely adversarial games like chess, Go, and poker, self-play alone is insufficient for achieving optimal performance in domains involving cooperation with humans. We address this shortcoming by first introducing a planning algorithm we call DiL-piKL that regularizes a reward-maximizing policy toward a human imitation-learned policy. We prove that this is a no-regret learning algorithm under a modified utility function. We then show that DiL-piKL can be extended into a self-play reinforcement learning algorithm we call RL-DiL-piKL that provides a model of human play while simultaneously training an agent that responds well to this human model. We used RL-DiL-piKL to train an agent we name Diplodocus. In a 200-game no-press Diplomacy tournament involving 62 human participants spanning skill levels from beginner to expert, two Diplodocus agents both achieved a higher average score than all other participants who played more than two games, and ranked first and third according to an Elo ratings model.

研究の動機と目的

• 自己対戦強化学習が人間を含む協力的・競争的ゲームにおいて、自己対戦のみで人間の慣習と一致しないという限界を解決すること。
• 報酬最大化方策を人間の模倣行動に正則化する計画アルゴリズムを開発し、人間のチームメイトとの一般化を向上させること。
• この正則化を自己対戦強化学習フレームワークに統合し、同時に人間らしい協力と強力な戦略的プレーを学習すること。
• 大規模かつ多様な人間参加の大会において、得られたエージェントDiplodocusの実世界でのパフォーマンスを測定し、熟練した人間プレーヤーとの比較を実施すること。

提案手法

• 固定された正則化パラメータλの代わりにλ値の確率分布を用いることで、推論時に人間行動のより強固な模倣を可能にする、DiL-piKLと呼ばれる計画アルゴリズムを提案。
• DiL-piKLと方策および価値関数の学習を組み合わせた自己対戦強化学習アルゴリズム、RL-DiL-piKLを導入。これにより、エージェントは強力な戦術的プレーと人間と互換性のある協力戦略を同時に学習できる。
• 行動選択にLSTMヘッドを備えたトランスフォーマー基盤の方策ネットワークを用い、自己対戦と人間データのカリキュラムを用いたアクター・クリティック強化学習で訓練。
• 後悔最小化とナッシュ均衡計算に基づく探索アルゴリズムを採用。DiL-piKLにより、探索と人間の慣習の模倣のバランスを向上。
• DiL-piKLがこの定式化下でノーレグレット学習アルゴリズムであることを示すために、修正された効用関数を適用。最適行動への収束を保証。
• 安定性とパフォーマンスに最適化されたハイパーパrameter（学習率、バッチサイズ、探索反復回数など）を用いて、DiplodocusエージェントをRL-DiL-piKLで訓練。

実験結果

リサーチクエスチョン

• RQ1 人間による正則化付き計画で訓練された強化学習エージェントは、人間と協力的・競争的ゲームでプレーする際、純粋な自己対戦エージェントを上回るパフォーマンスを示せるか？
• RQ2 計画段階に人間の模倣を統合することで、複雑な協調要件を有するマルチエージェントゲームにおけるエージェントパフォーマンスが顕著に向上するか？
• RQ3 人間の行動モデルを統合した自己対戦強化学習フレームワークは、プレスなしDiplomacyで人間を上回るパフォーマンスを達成できるか、かつ人間のチームメイトとも効果的に連携できるか？
• RQ4 DiL-piKLは、Hedge や RM といったベースライン探索手法と比較して、模倣学習済み方策およびRLで訓練された方策の両方において、パフォーマンスで優れているか？
• RQ5 得られたエージェントは、実際の人間大会において、人間の慣習や戦略的規範をどの程度反映しているか？

主な発見

• 200ゲームのプレスなしDiplomacy大会において、2体のDiplodocusエージェントは、2ゲーム以上プレイした全48名の参加者の中で最高の平均得点を記録した。
• BayesEloレーティングモデルに基づく総合順位では、Diplodocusエージェントは1位および3位にランクされ、2ゲーム以上プレイした全人類プレーヤーを上回った。
• DiL-piKLは、RL-DiL-piKLで訓練された方策にのみ顕著なパフォーマンス向上をもたらした。純粋な模倣学習済み方策には効果がなく、これは本手法が人間による正則化付きRLと併用して訓練される必要があることを示している。
• 初期国（例：フランスは+59、オーストリアは-24）の実証的Eloバイアス値が熟練者による共通認識とよく一致しており、モデルがゲーム内ダイナミクスと初期位置の優位性を的確に捉えていることを検証した。
• DiL-piKLではλパラメータの確率分布を用いることで、固定λの代替手法よりも安定的かつ効果的な計画が可能になった。特に複雑な協調状況で顕著に効果を発揮した。
• 大規模な自己対戦データが利用可能であっても、人間による正則化付き計画が人間とマルチエージェントの相互作用で強力なパフォーマンスを達成するために不可欠であることが実証された。