[논문 리뷰] Modeling the Formation of Social Conventions in Multi-Agent Populations.

Ismael T. Freire, Clément Moulin-Frier외 3명|arXiv (Cornell University)|2018. 02. 16.

Experimental Behavioral Economics Studies참고 문헌 51인용 수 8

한 줄 요약

이 논문은 분산 적응 제어(DAC) 이론 내에서 반응형 센서모터 제어와 모델 프리 강화학습을 통합하여 다중 에이전트 시스템이 사회적 관례를 학습하고 형성할 수 있도록 하는 제어 기반 강화학습(CRL) 아키텍처를 제안한다. CRL 프레임워크는 게임 이론적 과제에서 최적의 협업을 성공적으로 달성하였으며, 이산적 및 연속적 시간 모두에서 보상 효율성, 공정성, 관례의 안정성 측면에서 인간 실험 데이터를 재현하였다.

ABSTRACT

In order to understand the formation of social conventions we need to know the specific role of control and learning in multi-agent systems. To advance in this direction, we propose, within the framework of the Distributed Adaptive Control (DAC) theory, a novel Control-based Reinforcement Learning architecture (CRL) that can account for the acquisition of social conventions in multi-agent populations that are solving a benchmark social decision-making problem. Our new CRL architecture, as a concrete realization of DAC multi-agent theory, implements a low-level sensorimotor control loop handling the agent's reactive behaviors (pre-wired reflexes), along with a layer based on model-free reinforcement learning that maximizes long-term reward. We apply CRL in a multi-agent game-theoretic task in which coordination must be achieved in order to find an optimal solution. We show that our CRL architecture is able to both find optimal solutions in discrete and continuous time and reproduce human experimental data on standard game-theoretic metrics such as efficiency in acquiring rewards, fairness in reward distribution and stability of convention formation.

연구 동기 및 목표

• 제어 및 학습 메커니즘이 다중 에이전트 시스템에서 사회적 관례 형성에 어떻게 기여하는지 이해하기 위해.
• 동적인 환경에서 에이전트가 협동적 의사결정을 통해 관례를 습득하는 방식을 모델링하는 데에 미처 채워지지 않은 격차를 메우기 위해.
• 반응형 행동과 장기 보상 최적화를 모두 지원하는 DAC 이론의 구체적 구현을 개발하기 위해.
• 기본적인 게임 이론적 과제에서 인간 행동 데이터와의 비교를 통해 모델을 검증하기 위해.
• 이산적 및 연속적 시간 설정 모두에서 관례 형성의 강건성을 입증하기 위해.

제안 방법

• CRL 아키텍처는 반응형 행동을 위한 저수준 센서모터 제어 루프를 포함하는 계층적 제어 구조를 구현한다.
• 모델 프리 강화학습 레이어가 병렬로 작동하여 장기 누적 보상을 최대화한다.
• 반응형 제어와 학습의 통합은 환경 피드백에 대한 적응적 반응을 가능하게 한다.
• 프레임워크는 최적의 결과를 얻기 위해 협업이 필요한 벤치마크 다중 에이전트 게임 이론적 과제에 적용된다.
• 표준 게임 이론적 지표인 보상 효율성, 공정성, 관례의 안정성 등을 사용하여 시스템이 평가된다.
• 일반화 능력을 평가하기 위해 아키텍처는 이산적 및 연속적 시간 영역 모두에서 테스트된다.

실험 결과

연구 질문

• RQ1 제어 이론적 프레임워크는 다중 에이전트 시스템이 협업 과제에서 사회적 관례를 학습하고 형성할 수 있도록 어떻게 지원할 수 있는가?
• RQ2 CRL 아키텍처는 보상 효율성과 공정성 측면에서 인간 실험 데이터를 어느 정도 재현하는가?
• RQ3 반복 시험 동안 CRL 에이전트가 형성한 관례는 얼마나 안정적이고 일관된가?
• RQ4 CRL 프레임워크는 이산적 및 연속적 시간 설정 모두에서 최적의 해를 달성할 수 있는가?
• RQ5 반응형 제어와 강화학습의 통합은 관례 형성에 어떤 역할을 하는가?

주요 결과

• CRL 아키텍처는 이산적 및 연속적 시간 설정 모두에서 최적의 해를 성공적으로 달성하였다.
• 시스템은 보상 획득 효율성 측면에서 인간 실험 데이터를 재현하였으며, 강력한 행동 일치성을 나타내었다.
• 프레임워크는 보상 분배의 공정성을 보여주었으며, 사회적 협업 과제에서 관찰된 인간의 경향성과 일치하였다.
• CRL 시스템에서 형성된 관례는 시간이 지남에 따라 높은 안정성을 보였으며, 인간 데이터와 일관되었다.
• 센서모터 제어와 강화학습의 통합은 강력하고 적응적인 관례 획득을 가능하게 하였다.
• CRL 모델은 시간 영역을 초월해 일반화되었으며, 다양한 시간 설정에서 일관된 성능을 보였다.