[論文レビュー] Action Semantics Network: Considering the Effects of Actions in Multiagent Systems

Weixun Wang, Tianpei Yang+7 more|arXiv (Cornell University)|Jul 26, 2019

Reinforcement Learning in Robotics参考文献 37被引用数 12

ひとこと要約

本論文は、マルチエージェントシステムにおける他のエージェントに与える影響を明示的にモデル化する新しい深層学習アーキテクチャ「アクション意味論ネットワーク（ASN）」を提案する。ASNは、行動の意味論（行動が他のエージェントに与える差異化された影響）を学習することで、マルチエージェント強化学習における協調性を向上させる。ASNは、StarCraft IIおよびNeural MMO環境において、バニラネットワーク、アテンションネットワーク、エンティティアテンションネットワークを凌駕する高い報酬とダメージ出力を達成し、複数のDRLアルゴリズムで性能向上を実現する。

ABSTRACT

In multiagent systems (MASs), each agent makes individual decisions but all of them contribute globally to the system evolution. Learning in MASs is difficult since each agent's selection of actions must take place in the presence of other co-learning agents. Moreover, the environmental stochasticity and uncertainties increase exponentially with the increase in the number of agents. Previous works borrow various multiagent coordination mechanisms into deep learning architecture to facilitate multiagent coordination. However, none of them explicitly consider action semantics between agents that different actions have different influences on other agents. In this paper, we propose a novel network architecture, named Action Semantics Network (ASN), that explicitly represents such action semantics between agents. ASN characterizes different actions' influence on other agents using neural networks based on the action semantics between them. ASN can be easily combined with existing deep reinforcement learning (DRL) algorithms to boost their performance. Experimental results on StarCraft II micromanagement and Neural MMO show ASN significantly improves the performance of state-of-the-art DRL approaches compared with several network architectures.

研究の動機と目的

• 確率的で高い不確実性を伴う環境において、エージェントの行動が互いに相互に影響し合うという課題に取り組む。
• 従来の深層強化学習手法が、異なる行動が他のエージェントに与える影響の差を明示的にモデル化していないというギャップを特定する。
• 行動の意味論（すなわち、行動が他のエージェントに与える差異化された影響）を明示的に符号化する新しいニューラルネットワークアーキテクチャを提案し、方策学習と協調性の向上を図る。
• 提案されたアーキテクチャを既存の深層強化学習アルゴリズムに統合し、複雑なマルチエージェント環境におけるパフォーマンスを向上させる。

提案手法

• 行動の意味論に基づき、異なる行動が他のエージェントに与える影響を分離・モデル化するニューラルネットワークアーキテクチャ「アクション意味論ネットワーク（ASN）」を設計する。
• 二本のブランチ構造を採用：一方のブランチは現在の状態と行動埋め込みを処理し、もう一方は学習されたアテンションまたはインタラクションモジュールを介して、各行動が他のエージェントに与える影響を計算する。
• Q値または方策ネットワークに行動の意味論を統合する。行動表現を、他のエージェントに与える影響の予測に基づいて条件づける。
• 集中学習と分散推論を用いて、標準的な深層強化学習アルゴリズム（例：PPO、A2C、ACKTR）でネットワークを訓練する。
• 複数の行動タイプ（例：異なる攻撃タイプ）を含む状況では、行動タイプ間でパラメータ共有を適用することで、一般化性能の向上と過学習の低減を図る。
• エージェント固有の行動効果を捉えるために、エンティティレベルの状態表現と関係モデリングを用い、意味論的影響に基づく正確な行動選択を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エージェント間の行動意味論を明示的にモデル化することで、強化学習におけるマルチエージェント協調性が向上するか？
• RQ2 変動する環境条件下で、ASNはアテンションベースおよびバニラニューラルネットワークと比較して、最適な行動選択の学習においてどのように異なるか？
• RQ3 ASNは、相手との相対的距離に基づいて、最も効果的な行動（例：最大ダメージを与える攻撃）を特定・選択できるか？
• RQ4 StarCraft IIやNeural MMOのような多様なマルチエージェント環境において、ASNは学習の安定性と最終的パフォーマンスをどの程度向上させるか？
• RQ5 ASNは、それぞれに異なる意味的影響を学習することで、メlee、レンジ、マジシャン攻撃など、異なる行動タイプに一般化できるか？

主な発見

• ASNは、StarCraft IIのミクロマネジメントおよびNeural MMO環境において、バニラネットワーク、アテンションネットワーク、エンティティアテンションネットワークと比較して、平均累積報酬の面で顕著に優れている。
• Neural MMOにおいて、ASN-M1はエージェント間距離が≤2の場合、平均総ダメージが1.5以上を記録し、アテンション（約1.5）およびバニラ／エンティティアテンションネットワーク（約1.0）を上回った。
• ASNは、行動の意味論を明示的にモデル化しているため、近距離で最大ダメージを与える「メlee」攻撃を選択する確率が高く、これは距離に応じた効果的行動選択を可能にする。
• ASNの性能向上は、PPO、ACKTR、A2Cを含む複数のDRLアルゴリズムで一貫しており、プラグインアーキテクチャとしての互換性と有効性が確認された。
• すべてのテスト距離範囲（≤2、≤4、≤10）において、ASNはベースラインを常に上回る平均ダメージを記録し、環境変化に対して高いロバストネスを示した。
• アブレーションスタディの結果、ASN-M1におけるパラメータ共有が、特にマルチアクション設定において性能を損なわず、一般化性能を向上させたことが確認された。