[論文レビュー] Modeling the Formation of Social Conventions in Multi-Agent Populations.

Ismael T. Freire, Clément Moulin-Frier+3 more|arXiv (Cornell University)|Feb 16, 2018

Experimental Behavioral Economics Studies参考文献 51被引用数 8

ひとこと要約

本論文は、分散自己適応制御（DAC）理論の枠組み内で、反応的なセンサモータ制御とモデルフリー強化学習を統合する制御ベース強化学習（CRL）アーキテクチャを提案する。このCRLフレームワークにより、マルチエージェントシステムは社会的慣習を学習・形成可能となり、ゲーム理論的タスクにおいて最適な協調を達成する。CRLフレームワークは、離散的および連続的時間の両方において、報酬効率、公平性、慣習の安定性という点で人間の実験データを再現し、最適な協調を達成した。

ABSTRACT

In order to understand the formation of social conventions we need to know the specific role of control and learning in multi-agent systems. To advance in this direction, we propose, within the framework of the Distributed Adaptive Control (DAC) theory, a novel Control-based Reinforcement Learning architecture (CRL) that can account for the acquisition of social conventions in multi-agent populations that are solving a benchmark social decision-making problem. Our new CRL architecture, as a concrete realization of DAC multi-agent theory, implements a low-level sensorimotor control loop handling the agent's reactive behaviors (pre-wired reflexes), along with a layer based on model-free reinforcement learning that maximizes long-term reward. We apply CRL in a multi-agent game-theoretic task in which coordination must be achieved in order to find an optimal solution. We show that our CRL architecture is able to both find optimal solutions in discrete and continuous time and reproduce human experimental data on standard game-theoretic metrics such as efficiency in acquiring rewards, fairness in reward distribution and stability of convention formation.

研究の動機と目的

• 制御と学習メカニズムがマルチエージェントシステムにおける社会的慣習形成にどのように寄与するかを理解すること。
• 動的環境下でエージェントが協調的意思決定を通じて慣習を習得するプロセスをモデル化する空白を埋めること。
• 反応的行動と長期的報酬最大化の両方を支援するDAC理論の明確な実装を開発すること。
• 標準的なゲーム理論的タスクにおける人間の行動データと照らし合わせてモデルを検証すること。
• 離 discrete および continuous 時間設定の両方で、慣習形成の強靭性を示すこと。

提案手法

• CRLアーキテクチャは、反応的行動を担う低レベルのセンサモータ制御ループを有する階層的制御構造を実装する。
• モデルフリー強化学習層が並列に作用し、長期的な累積報酬を最大化する。
• 反応的制御と学習の統合により、環境フィードバックに適応する応答が可能になる。
• フレームワークは、最適な結果を得るための協調を要するベンチマークマルチエージェントゲーム理論的タスクに適用される。
• 報酬効率、公平性、慣習の安定性といった標準的なゲーム理論的指標を用いて、システムが評価される。
• 一般化を評価するために、離散的および連続的時間ドメインの両方でアーキテクチャがテストされる。

実験結果

リサーチクエスチョン

• RQ1 制御理論的フレームワークは、協調タスクにおいてマルチエージェントシステムがどのように社会的慣習を学習・形成できるか。
• RQ2 CRLアーキテクチャは、報酬効率と公平性について、どの程度人間の実験データを再現するか。
• RQ3 CRLエージェントが繰り返し試行において、どの程度安定的かつ一貫性のある慣習を形成するか。
• RQ4 CRLフレームワークは、離 discrete および continuous 時間設定の両方で最適解に到達できるか。
• RQ5 反応的制御と強化学習の統合は、慣習形成においてどのような役割を果たすか。

主な発見

• CRLアーキテクチャは、離 discrete および continuous 時間設定の両方で最適な解を達成した。
• 報酬獲得における効率性について、人間の実験データを再現しており、強い行動的一致性を示した。
• フレームワークは報酬分配の公平性を示し、社会的協調タスクにおける観察された人間の傾向と一致した。
• CRLシステムにおける慣習形成は、時間経過に伴い高い安定性を示し、人間のデータと一致した。
• センサモータ制御と強化学習の統合により、強靭で適応的な慣習習得が可能になった。
• CRLモデルは時間領域を越えて一般化し、多様な時間的設定において一貫したパフォーマンスを示した。