[論文レビュー] PerfectDou: Dominating DouDizhu with Perfect Information Distillation

Yang Guan, Minghuan Liu+5 more|arXiv (Cornell University)|Mar 30, 2022

Reinforcement Learning in Robotics被引用数 14

ひとこと要約

本論文は、完全情報蒸留技術を組み込んだ完全訓練・不完全実行（PTIE）フレームワーク内で動作する、DouDizhu用の最先端AIシステムPerfectDouを紹介する。完全なゲーム状態を用いて訓練し、実行時には不完全情報のみを観測するポリシーを導入することで、PerfectDouは優れた性能と高いサンプル効率を達成し、10,000デッキのトーナメントにおいて、より少ないサンプル要件と低遅延推論で、これまでのあらゆるAIシステムを上回った性能を発揮した。

ABSTRACT

As a challenging multi-player card game, DouDizhu has recently drawn much attention for analyzing competition and collaboration in imperfect-information games. In this paper, we propose PerfectDou, a state-of-the-art DouDizhu AI system that dominates the game, in an actor-critic framework with a proposed technique named perfect information distillation. In detail, we adopt a perfect-training-imperfect-execution framework that allows the agents to utilize the global information to guide the training of the policies as if it is a perfect information game and the trained policies can be used to play the imperfect information game during the actual gameplay. To this end, we characterize card and game features for DouDizhu to represent the perfect and imperfect information. To train our system, we adopt proximal policy optimization with generalized advantage estimation in a parallel training paradigm. In experiments we show how and why PerfectDou beats all existing AI programs, and achieves state-of-the-art performance.

研究の動機と目的

• 既存のDouDizhu用AIシステム、特に複雑な戦闘シナリオにおける戦略的弱みを示すDouZeroの限界を是正すること。
• 三人称の不完全情報ゲームにおける協調と競争のダイナミクスをよりよく捉える、より強固で合理的なAIポリシーの開発。
• 実世界のデプロイ環境においても高い性能を維持しつつ、サンプル効率と推論速度の向上。
• 完全情報蒸留が、不完全情報ゲームプレイへの一般化を損なわせることなく、より強力なポリシー学習を可能にすることの証明。
• 大規模な行動空間と隠れた情報を持つ複雑な非対称トランプゲームにおいて、PTIEパラダイムの有効性の検証。

提案手法

• 完全訓練・不完全実行（PTIE）フレームワークを提案。これはCTDEの変種であり、エージェントは完全なゲーム状態の可視性で訓練されるが、デプロイ時には不完全情報のみから推論を行う。
• 完全情報と不完全情報を効果的に表現するための特別なカードおよびゲーム特徴量を設計し、グローバル知識をローカルポリシーに効果的に蒸留可能にする。
• 自己対戦と分散型トレーニング環境を用い、一般化された優位性推定（GAE）を用いた近接ポリシー最適化（PPO）を採用してポリシーを最適化。
• トレーニング中にポリシーの合理性と戦略的一致性を向上させるために、ノードレベルの報酬メカニズムを導入。
• 完全情報に基づいて訓練された集中価値関数を用いてポリシー学習をガイドし、ポリシーがグローバルゲーム状態から間接的に学習できるようにする。
• 軽量なネットワークアーキテクチャと特徴量処理を最適化することで、リアルタイムデプロイを可能にする推論効率の向上。

実験結果

リサーチクエスチョン

• RQ1 完全情報蒸留技術は、DouDizhuのような不完全情報ゲームにおけるポリシー性能を顕著に向上させることができるか？
• RQ2 複雑なトランプゲームにおいて、標準的なCTDEと比較してPTIEフレームワークは、サンプル効率と最終的なパフォーマンスの点でどのように差をつけるか？
• RQ3 PerfectDouは、DouZeroのような既存のAIシステムと比較して、戦略的推論力とチームメイトとの協調性の面でどの程度優れているか？
• RQ4 PerfectDouの推論遅延はどの程度で、リアルタイムデプロイ環境における先行システムと比較してどうか？
• RQ5 トレーニング時に完全情報を用いることで、高リスクなゲームシナリオにおけるポリシーの合理性と一貫性はどのように影響を受けるか？

主な発見

• PerfectDouは10,000デッキのトーナメントで最先端のパフォーマンスを達成し、DouZeroを含むすべての既存AIシステムを上回った。
• 前回のSOTA手法と比較して、訓練に必要なサンプル数が1桁少ないことから、優れたサンプル効率を示した。
• PerfectDouはより合理的で人間らしい行動を示した：地主として、スコアを守るためにより少ないボムをプレイする。仲間プレイヤーと戦略的なボムプレイで連携する。
• PerfectDouの右側プレイヤー（Peasant）は、DouZeroの対応するエージェントよりも多くのボムを投じており、人間のエキスパート戦略と整合的である。
• 1手あたりの推論時間は6ミリ秒であり、DouZeroの2ミリ秒よりわずかに遅いが、リアルタイムオンラインゲームデプロイには十分な性能を発揮している。
• 実行時解析により、PerfectDouはDeltaDou や CQN のようなモンテカルロベースのシステムよりも顕著に高速であり、ルールベースや複雑なネットワークベースの代替手法よりも効率的であることが確認された。