[논문 리뷰] Learning and Sustaining Shared Normative Systems via Bayesian Rule Induction in Markov Games

Ninell Oldenburg, Tan Zhi‐Xuan|arXiv (Cornell University)|2024. 02. 20.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 마르코프 게임에서 다중 에이전트 강화 학습을 위한 베이지안 규칙 유도 프레임워크를 제안하며, 의무적 및 금지적 규칙에 대한 근사 추론을 통해 에이전트가 공유하는 규범 체계를 학습하고 유지할 수 있도록 한다. 공유된 규범성 가정과 관찰된 준수/위반 패턴을 통한 민감도 업데이트를 통해, 에이전트는 빠르고 샘플 효율적인 규범 학습과 안정적인 협력을 달성하며, 장기적 환경에서 모델 프리 기반 보다 뛰어난 성능을 보인다.

ABSTRACT

A universal feature of human societies is the adoption of systems of rules and norms in the service of cooperative ends. How can we build learning agents that do the same, so that they may flexibly cooperate with the human institutions they are embedded in? We hypothesize that agents can achieve this by assuming there exists a shared set of norms that most others comply with while pursuing their individual desires, even if they do not know the exact content of those norms. By assuming shared norms, a newly introduced agent can infer the norms of an existing population from observations of compliance and violation. Furthermore, groups of agents can converge to a shared set of norms, even if they initially diverge in their beliefs about what the norms are. This in turn enables the stability of the normative system: since agents can bootstrap common knowledge of the norms, this leads the norms to be widely adhered to, enabling new entrants to rapidly learn those norms. We formalize this framework in the context of Markov games and demonstrate its operation in a multi-agent environment via approximately Bayesian rule induction of obligative and prohibitive norms. Using our approach, agents are able to rapidly learn and sustain a variety of cooperative institutions, including resource management norms and compensation for pro-social labor, promoting collective welfare while still allowing agents to act in their own interests.

연구 동기 및 목표

• 자율 에이전트가 다중 에이전트 환경에서 분산된 공유 사회적 규범을 학습하고 준수할 수 있도록 하는 데 도전하는 것.
• 반응적 또는 모델 프리 학습에 의존하지 않고, 관찰된 행동에서 구조화된 규칙을 추론하는 합리적이고 베이지안 추론 과정으로 규범 학습을 모델링하는 것.
• 에이전트가 공통 지식의 규범을 공유 belief 형성으로 부터 부트스트랩할 수 있도록 하여, 새로운 에이전트의 신속한 통합을 가능하게 하는 것.
• 의무와 금지 규칙로 구성된 규칙 기반 체계로 규범 체계를 형식화하여 마르코프 게임에 통합함으로써 조율되고 목표 지향적인 행동을 가능하게 하는 것.
• 장기적 환경에서의 다중 에이전트 환경에서 프레임워크를 평가하여 규범적 협력의 샘플 효율성과 안정성을 입증하는 것.

제안 방법

• 표준 MDP를 규범 제약 조건(금지 및 의무 규칙 포함)으로 확장하여 규범 보강 마르코프 게임를 형식화한다.
• 현재 규범적 믿음에 따라 보상 최적화 모드와 규범 준수 모드를 전환하는 계획을 수행하는 에이전트로 모델링한다.
• 다른 이의 행동 관찰을 통해 후행 확률을 갱신하기 위해 근사 베이지안 추론을 구현한다.
• 규범적 내용을 가설로 간주하고, 준수 또는 위반 패턴 관찰에 기반한 가능성으로서의 가능도를 사용하는 확률적 규칙 유도 메커니즘을 사용한다.
• 정책 학습에 규범적 믿음을 통합하여, 자기 이익과 규범 준수 사이의 균형을 구조화되고 해석 가능한 규칙을 통해 달성한다.
• 기호적 규칙 표현을 활용하여 규범의 일반화, 의사소통, 해석 가능성의 향상을 도모한다.

(a) Norm-Augmented Markov Game

실험 결과

연구 질문

• RQ1 다중 에이전트 환경에서 관찰 데이터로부터 규칙 구조를 베이지안 추론으로 학습함으로써 에이전트가 공유 사회적 규범을 학습할 수 있는가?
• RQ2 공유된 규범성 가정이 모델 프리 접근 방식과 비교해 규범 학습을 얼마나 가속화하고 샘플 효율성을 향상시키는가?
• RQ3 초기에는 규칙에 대해 다름을 가진 믿음을 지닌 에이전트들이 공통의 규범 체계에 수렴할 수 있는 정도는 어느 정도인가?
• RQ4 중앙 집중적 강제 없이도 장기적 환경에서 규범 준수 행동이 나타나고 지속될 수 있는가?
• RQ5 기계적 습관 기반 또는 반응적 학습과 비교해 기호적 규칙 기반 규범은 해석 가능성, 일반화 능력, 안정성 측면에서 어떻게 다른가?

주요 결과

• 근사 베이지안 규칙 유도를 사용하는 에이전트는 자원 관리 및 이타적 노동에 대한 보상과 같은 협력적 규범을 모델 프리 기반보다 훨씬 빠르게 학습하고 유지하였다.
• 이 접근 방식은 모델 프리 규범 학습 방법보다 샘플 효율성이 수 개의 주기만큼 뛰어나, 수렴하기 위해 훨씬 적은 경험을 요구하였다.
• 공유된 규범성 덕분에 규범의 공통 지식이 발생: 일정 수의 에이전트가 동일한 규범을 유추하면 준수 행동이 안정화되고, 새로운 에이전트는 이를 신속히 학습할 수 있었다.
• 프레임워크는 보상 중심 모드와 의무 중심 모드를 전환함으로써 규범 준수 계획을 성공적으로 지원하여, 자기 이익과 규범 준수를 모두 확보하였다.
• 기호적 규칙 표현은 규범의 해석 가능성, 일반화 능력, 의사소통 가능성을 향상시켜 순수하게 반응적인 학습보다 더 풍부한 규범 인지 능력을 지원하였다.
• DeepMind의 Melting Pot 시뮬레이터에서의 실증 평가를 통해, 이론적 접근이 복잡하고 장기적 환경에서의 다중 에이전트 환경에서 실현 가능하고 강건함을 입증하였다.

(b) Social Norms