[論文レビュー] Learning and Sustaining Shared Normative Systems via Bayesian Rule Induction in Markov Games

Ninell Oldenburg, Tan Zhi‐Xuan|arXiv (Cornell University)|Feb 20, 2024

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本稿は、マルコフゲームにおけるマルチエージェント強化学習のためのベイジアンルール誘導フレームワークを提案する。このフレームワークにより、義務的・禁止的規範の近似的な推論を通じて、エージェントが共有される規範的システムを学習・維持可能となる。共有規範性を仮定し、行動の順守・違反パターンを観測することで信念を更新することで、エージェントは迅速かつサンプル効率的な規範学習と安定した協力が可能となり、長時間スケールの環境においてモデルフリーのベースラインを上回る性能を示す。

ABSTRACT

A universal feature of human societies is the adoption of systems of rules and norms in the service of cooperative ends. How can we build learning agents that do the same, so that they may flexibly cooperate with the human institutions they are embedded in? We hypothesize that agents can achieve this by assuming there exists a shared set of norms that most others comply with while pursuing their individual desires, even if they do not know the exact content of those norms. By assuming shared norms, a newly introduced agent can infer the norms of an existing population from observations of compliance and violation. Furthermore, groups of agents can converge to a shared set of norms, even if they initially diverge in their beliefs about what the norms are. This in turn enables the stability of the normative system: since agents can bootstrap common knowledge of the norms, this leads the norms to be widely adhered to, enabling new entrants to rapidly learn those norms. We formalize this framework in the context of Markov games and demonstrate its operation in a multi-agent environment via approximately Bayesian rule induction of obligative and prohibitive norms. Using our approach, agents are able to rapidly learn and sustain a variety of cooperative institutions, including resource management norms and compensation for pro-social labor, promoting collective welfare while still allowing agents to act in their own interests.

研究の動機と目的

• 自律的エージェントがマルチエージェント環境において分散的・共有的な社会的規範を学習・順守できるようにする挑戦に応えること。
• モデルフリーの学習に依存するのではなく、観察された行動から構造的ルールを推論する合理的なベイジアン推論プロセスとして規範学習をモデル化すること。
• エージェントが共有される信念形成を通じて共通の規範知識を構築できるようにし、新規エージェントの迅速な統合を可能にすること。
• 規範的システムを義務と禁止のルールに基づく構造として形式化し、マルコフゲームに統合することで、協調的かつ目的指向的な行動を可能にすること。
• フレームワークを長時間スケールのマルチエージェント環境で評価し、規範的協力のサンプル効率性と安定性を示すこと。

提案手法

• 標準的なMDPに規範的制約（禁止的・義務的ルールを含む）を追加することで、規範を組み込んだマルコフゲームを形式化する。
• 現在の規範的信念に基づいて、報酬最大化モードと規範順守モードの間を切り替えることで、規範順守の計画を実行するエージェントとしてモデル化する。
• 他のエージェントの行動観測を用いて、候補となる規範に関する事後確率を更新する近似的ベイジアン推論を実装する。
• 規範的内容を仮説として扱い、順守または違反の観測パターンに基づく尤度を用いる確率的ルール誘導メカニズムを採用する。
• 規範的信念をポリシー学習に統合し、構造的かつ解釈可能なルールを通じて自己利益と規範順守のバランスを取ることを可能にする。
• 象徴的ルール表現を活用することで、エージェント間での規範の一般化、通信、解釈可能性を実現する。

(a) Norm-Augmented Markov Game

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント環境において、観測データからのルール構造のベイジアン推論によってエージェントは共有社会的規範を学習できるか？
• RQ2 共有規範性を仮定することで、モデルフリーのアプローチと比較して規範学習の加速とサンプル効率の向上がどの程度達成されるか？
• RQ3 初期段階で規範に関する信念が相異なる場合でも、エージェントが共通の規範的システムに収束する可能性はどの程度か？
• RQ4 中央集権的管理なしに、長時間スケールのマルチエージェント環境でも規範順守行動が出現・維持可能か？
• RQ5 習慣的・反応的学習と比較して、象徴的・ルールベースの規範は解釈可能性、一般化、安定性の観点でどの程度優れているか？

主な発見

• 近似的なベイジアンルール誘導を用いるエージェントは、モデルフリーのベースラインと比較して、リソース管理や利他の労働に対する補償といった協力的規範を著しく高速に学習・維持した。
• このアプローチは、モデルフリーの規範学習手法と比較して、収束に必要な経験量が桁違いに少ないサンプル効率性を達成した。
• 共有規範性により、規範の共通知識が生じた：一定数のエージェントが同じ規範を推論すると、順守が安定化し、新規エージェントの迅速な学習が可能になった。
• 報酬志向と義務志向のモードを切り替えることで、規範順守計画を効果的にサポートした。これにより、自己利益と規範順守の両立が保証された。
• 象徴的ルール表現により、規範の解釈可能性、一般化、通信が可能となり、純粋に反応的な学習に比べてより洗練された規範的認知が実現された。
• DeepMindのMelting Potシミュレータを用いた実験的評価により、複雑で長時間スケールのマルチエージェント環境において、本アプローチの実現可能性と頑健性が確認された。

(b) Social Norms