[論文レビュー] Emergent Bartering Behaviour in Multi-Agent Reinforcement Learning

Michael Bradley Johanson, Edward Hughes+2 more|arXiv (Cornell University)|May 13, 2022

Complex Systems and Time Series Analysis被引用数 8

ひとこと要約

本論文は、供給と需要の変化に応じて生産・取引・消費を通じて自発的な物々交換行動を発展させるマルチエージェント強化学習の設定であるFruit Market環境を紹介する。主な結果として、局所的価格形成、地域間輸送によるアービタージュ、生産・消費の適応的調整といった、自発的なミクロ経済現象が観察された。これは、ドメイン特化のコーディングなしに、強化学習から複雑な経済行動が自然に生じ得ることを示している。

ABSTRACT

Advances in artificial intelligence often stem from the development of new environments that abstract real-world situations into a form where research can be done conveniently. This paper contributes such an environment based on ideas inspired by elementary Microeconomics. Agents learn to produce resources in a spatially complex world, trade them with one another, and consume those that they prefer. We show that the emergent production, consumption, and pricing behaviors respond to environmental conditions in the directions predicted by supply and demand shifts in Microeconomics. We also demonstrate settings where the agents' emergent prices for goods vary over space, reflecting the local abundance of goods. After the price disparities emerge, some agents then discover a niche of transporting goods between regions with different prevailing prices -- a profitable strategy because they can buy goods where they are cheap and sell them where they are expensive. Finally, in a series of ablation experiments, we investigate how choices in the environmental rewards, bartering actions, agent architecture, and ability to consume tradable goods can either aid or inhibit the emergence of this economic behavior. This work is part of the environment development branch of a research program that aims to build human-like artificial general intelligence through multi-agent interactions in simulated societies. By exploring which environment features are needed for the basic phenomena of elementary microeconomics to emerge automatically from learning, we arrive at an environment that differs from those studied in prior multi-agent reinforcement learning work along several dimensions. For example, the model incorporates heterogeneous tastes and physical abilities, and agents negotiate with one another as a grounded form of communication.

研究の動機と目的

• 取引、価格形成、専門化といったミクロ経済行動の自発的出現を可能にするマルチエージェント強化学習環境の開発。
• 深層強化学習エージェントがランダム初期化から、アービタージュや供給需要の調整といった複雑な経済行動を自発的に発見できるかを調査すること。
• マルチエージェントシステムにおける社会的・経済的行動の出現・抑制に寄与する環境設計の選択要因を同定すること。
• マルチエージェント強化学習とエージェントベース計算経済学の溝を埋めるために、最先端の強化学習エージェントが基礎的経済現象を学習することを実証すること。

提案手法

• エージェントは、個々の好みと生産能力に基づき、資源（例：りんご、バナナ）の生産・消費・取引を行う空間的に複雑な世界で動作する。
• 移動、提示、交換行動の組み合わせにより取引を交渉し、価格は供給と需要のダイナミクスから自然に出現する。
• 実世界の経済的多様性をモデル化するため、異なる生産スキルと消費嗜好を持つエージェントの多様性を組み込む。
• 強化学習はV-MPOという深層強化学習アルゴリズムを用い、消費と空腹感の軽減に紐付いたスパarsな報酬を適用する。
• エージェントは分散トレーニングを通じて学習し、取引のための明示的報酬形状は施さず、消費と機会費用による自発的インcentiveに依存する。
• 環境はMelting Potスイート内でのオープンソース公開により、再現可能性およびマルチエージェント強化学習と計算経済学分野におけるさらなる研究を支援する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント強化学習エージェントは、取引のための明示的報酬形状なしに、自発的に物々交換行動を発展させられるか？
• RQ2 環境内での供給と需要の変化が、自発的価格形成および生産・消費行動にどのように影響するか？
• RQ3 資源の豊富さに空間的差異がある場合、局所的価格形成とアービタージュ戦略の出現が生じるか？
• RQ4 取引や専門化といった複雑な経済行動の出現に必要な環境的・アーキテクチャ的設計選択は何か？
• RQ5 エージェントは価格格差のある地域間で物資を輸送し、アービタージュを利益を上げる戦略として発見できるか？

主な発見

• エージェントは、地域ごとの資源豊富さを反映した自発的局所的価格形成を発展させ、供給需要の変化に応じて自然に価格格差が生じた。
• 地域間で価格差が生じた場合、一部のエージェントが低価格地域から高価格地域へ物資を輸送する戦略を発見し、アービタージュによる高い報酬を得た。
• 取引の出現は環境設計に敏感であった。空腹ペナルティを除去する、あるいは取引メカニズム（例：ドロップ／与える行動）を変更すると、取引の出現が著しく妨げられたり、完全に阻止された。
• 「ドロップして与える」行動のみではエージェントが取引を学習できなかったため、取引の共同探索にはより構造的・信頼性の高い通信メカニズムが必要であることが示された。
• アブレーションスタディにより、エージェントアーキテクチャ、移動ペナルティ、報酬形状（例：空腹ペナルティ）が経済行動の出現に顕著に影響することが確認された。
• Fruit Market環境は、ドメイン特化のコードや事前知識なしに、最先端の深層強化学習エージェントが生産・消費・取引・アービタージュといった複雑で人間らしい経済行動を学習することに成功した。