[論文レビュー] A Deep Policy Inference Q-Network for Multi-Agent Systems

Zhang-Wei Hong, Shih-Yang Su+3 more|arXiv (Cornell University)|Dec 21, 2017

Reinforcement Learning in Robotics参考文献 33被引用数 42

ひとこと要約

本稿では、協力者および対戦相手の生観測からポリシー特徴を推定し、それらを隠れベクトルとして統合することでQ値予測を向上させる、深層QネットワークであるDPIQNを提案する。モデルは1v1および2v2サッカー環境においてDQNおよびDRQNを上回り、特に動的ポリシー変化の下でも優れた性能を示す。DRPIQNは非定常な環境下でも優れた安定性と一般化性能を示す。

ABSTRACT

We present DPIQN, a deep policy inference Q-network that targets multi-agent systems composed of controllable agents, collaborators, and opponents that interact with each other. We focus on one challenging issue in such systems---modeling agents with varying strategies---and propose to employ "policy features" learned from raw observations (e.g., raw images) of collaborators and opponents by inferring their policies. DPIQN incorporates the learned policy features as a hidden vector into its own deep Q-network (DQN), such that it is able to predict better Q values for the controllable agents than the state-of-the-art deep reinforcement learning models. We further propose an enhanced version of DPIQN, called deep recurrent policy inference Q-network (DRPIQN), for handling partial observability. Both DPIQN and DRPIQN are trained by an adaptive training procedure, which adjusts the network's attention to learn the policy features and its own Q-values at different phases of the training process. We present a comprehensive analysis of DPIQN and DRPIQN, and highlight their effectiveness and generalizability in various multi-agent settings. Our models are evaluated in a classic soccer game involving both competitive and collaborative scenarios. Experimental results performed on 1 vs. 1 and 2 vs. 2 games show that DPIQN and DRPIQN demonstrate superior performance to the baseline DQN and deep recurrent Q-network (DRQN) models. We also explore scenarios in which collaborators or opponents dynamically change their policies, and show that DPIQN and DRPIQN do lead to better overall performance in terms of stability and mean scores.

研究の動機と目的

• ポリシーが動的に変化する非定常なマルチエージェントシステム（MAS）において、対戦相手や協力者エージェントの戦略の違いをモデル化する課題に取り組む。
• エージェント構造やルールベースの仮定に依存する従来手法の限界を克服し、現実世界のシナリオでは現実的でないものを取り除く。
• 内部エージェント論理へのアクセスがなく、画像などの生観測のみを用いても、制御可能なエージェントが効果的なポリシーを学習できるようにする。
• ポリシー特徴学習をQ値学習よりも優先する適応的損失関数を導入することで、マルチエージェント設定における学習の安定性と収束速度を向上させる。
• 協力者や対戦相手が予期せず戦略を変更するような未確認のシナリオにおいて、モデルの一般化能力を実証する。

提案手法

• DQNに基づく深層ポリシー推定Qネットワーク（DPIQN）を設計し、3つのモジュールで構成する：特徴抽出モジュール、Q値学習モジュール、および補助的ポリシー特徴学習モジュール。
• 協力者および対戦相手の生観測（例：画像）からポリシー特徴を別々のネットワークブランチで学習し、それらを主DQNの隠れベクトルとして統合する。
• Q値損失 $L^Q$ とポリシー推定損失 $L^{PI}$ を組み合わせた適応的損失関数を導入し、トレーニング中にポリシー特徴学習からQ値学習へ焦点をシフトさせる動的重み係数 $\lambda$ を用いる。
• 部分観測性がある環境（遅延または不完全な観測）に対応するため、LSTMを組み込んだ再帰的ネットワークを導入することでDPIQNを拡張し、DRPIQNを構築する。
• ポリシー特徴学習とQ値最適化の間での注視の調整を適応的に制御するトレーニング手順を採用し、安定性と収束性を向上させる。
• 表現学習における補助タスクを活用して特徴空間を豊かにし、非定常な協力者および対戦相手のモデリングをより良くする。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントシステムにおいて、生観測から協力者および対戦相手のポリシー特徴を効果的に推定・利用できるか？
• RQ2 学習されたポリシー特徴を隠れベクトルとして統合することで、標準DQNおよびDRQNと比較してQ値予測とエージェント全体のパフォーマンスがどの程度向上するか？
• RQ3 DPIQNおよびDRPIQNは、テスト中に協力者や対戦相手が戦略を動的に変更するような状況において、どの程度一般化できるか？
• RQ4 提案された適応的損失関数は、マルチエージェントRL設定における学習の安定性と収束速度を向上させるか？
• RQ5 再帰的変種であるDRPIQNは、非再帰的DPIQNと比較して、部分観測性の下でどの程度優れた性能を示すか？

主な発見

• 1v1シナリオでは、DPIQNは未確認の対戦相手に対して平均報酬0.909を達成し、DRPIQNは0.947を達成し、ベースラインのDQNおよびDRQNを顕著に上回った。
• 2v2シナリオでは、DPIQNおよびDRPIQNはすべてのテストケースで強力なパフォーマンスを維持した。特に、未確認の対戦相手環境下でDRPIQN（O）はDQN比で平均報酬比1.36倍を記録した。
• 適応的損失関数のおかげでDRPIQNは優れた安定性と高速な収束を示し、トレーニング中のQ値損失 $L^Q$ のフラクチュエーションが低減された。
• アブレーションスタディの結果、ポリシー推定損失 $L^{PI}$ と動的重み係数 $\lambda$ の両方が不可欠であることが確認された。両者を併用したモデルはより速く収束し、損失のフラクチュエーションも少なかった。
• 未確認のエージェントと協力する状況でも、DPIQNおよびDRPIQNエージェントは独立してより多くのゴールを決め、協力者の意図を把握していない状況でも頑健であることが示された。
• 動的ポリシー変化に際してモデルは良好な一般化性能を示した。対戦相手や協力者が予期せず4〜10タイムステップごとに戦略を変更するような状況でも、DPIQNおよびDRPIQNは高い平均スコアと安定性を維持し、すべてのテストケースでベースラインを上回った。