[論文レビュー] A Study of AI Population Dynamics with Million-agent Reinforcement Learning

Yaodong Yang, Lantao Yu+5 more|arXiv (Cornell University)|Sep 13, 2017

Evolutionary Game Theory and Cooperation参考文献 13被引用数 19

ひとこと要約

本稿では、ミリオンエージェントの捕食者・被捕食者エコシステムをシミュレートする大規模なマルチエージェント強化学習フレームワークを提案し、出現する集団的ダイナミクスを研究する。深層強化学習と再設計された経験バッファを用いて、自己利益志向のエージェントが自発的にロトカ＝ヴォリエーラ型の人口周期と適応的グルーピング行動を生成することを示した。これらは自己組織化理論によって説明可能であり、外部からの制御がなくても人工知能集団においてマクロスケールの秩序が出現しうることを示唆している。

ABSTRACT

We conduct an empirical study on discovering the ordered collective dynamics obtained by a population of intelligence agents, driven by million-agent reinforcement learning. Our intention is to put intelligent agents into a simulated natural context and verify if the principles developed in the real world could also be used in understanding an artificially-created intelligent population. To achieve this, we simulate a large-scale predator-prey world, where the laws of the world are designed by only the findings or logical equivalence that have been discovered in nature. We endow the agents with the intelligence based on deep reinforcement learning (DRL). In order to scale the population size up to millions agents, a large-scale DRL training platform with redesigned experience buffer is proposed. Our results show that the population dynamics of AI agents, driven only by each agent's individual self-interest, reveals an ordered pattern that is similar to the Lotka-Volterra model studied in population biology. We further discover the emergent behaviors of collective adaptations in studying how the agents' grouping behaviors will change with the environmental resources. Both of the two findings could be explained by the self-organization theory in nature.

研究の動機と目的

• 自然の自己組織化の原則が、人工的に創出された知能集団における集団的ダイナミクスを説明できるかどうかを調査すること。
• 深層強化学習をミリオンエージェント規模にスケールアップし、シミュレーテッド自然環境におけるマクロスケールの行動を研究すること。
• 外部監視なしに、個々の自己利益志向から秩序ある人口ダイナミクスと適応的グルーピングが出現するかどうかを検証すること。
• 実世界の生物学から得られた知見、例えばロトカ＝ヴォリエーラモデルが、深層強化学習によって駆動されるAI集団に適用可能かどうかを検証すること。

提案手法

• 環境のダイナミクスをモデル化するために、自然法則と論理的同等性のみを用いて大規模な捕食者・被捕食者世界をシミュレートした。
• 各エージェントに深層Qネットワーク（DQN）を装備し、強化学習に基づく個別意思決定を可能にした。
• ミリオンエージェントの学習を効率的に行えるよう、再設計された経験バッファを備えた大規模DRL学習プラットフォームを設計した。
• 各エージェントが中央集権的な調整なしに個別報酬を最適化できる独立学習方策を採用した。
• 時間経過に伴う捕食者・被捕食者数、グルーピング割合、動的平衡状態などの集団レベル統計をモニタリングした。
• シナリオを変化させるために、二種類の被捕食者（ヒツジとウサギ）を交互に与えることで、環境要因の変化に伴う行動シフトを研究した。

実験結果

リサーチクエスチョン

• RQ1 ミリオンエージェントのAI集団が深層強化学習によって訓練された場合、自己組織的で秩序あるマクロダイナミクスが出現するか？
• RQ2 得られた人口ダイナミクスは、生物的エコシステムで観察されるロトカ＝ヴォリエーラモデルに類似しているか？
• RQ3 環境資源の可用性が変化した場合、集団的行動（例えばグルーピング）はどのように適応するか？
• RQ4 自己組織化理論は、外部制御なしにAI集団における複雑で安定したパターンの出現を説明できるか？

主な発見

• AI集団は、捕食者と被捕食者の人口に周期的変動を示すロトカ＝ヴォリエーラモデルに極めて近い人口ダイナミクスを示した。
• ウサギの餌付け後に群れで狩る捕食者の割合が急激に低下し、ヒツジの餌付け後に急激に上昇した。これは集団的適応を示している。
• 資源変化への対応としてのグルーピング行動の出現は、明示的な調整や外部信号なしに自発的に発生した。
• 人口周期と適応的グルーピング行動の両方が、エージェントが単に自己利益志向で行動しているにもかかわらず、自己組織化理論の予測と整合的であった。
• 結果として、外部の制御なしに、局所的相互作用から人工知能システムにおいてマクロスケールの秩序が出現しうることを示唆している。