[논문 리뷰] The emergence of division of labor through decentralized social sanctioning

Anil Yaman, Joel Z. Leibo외 2명|arXiv (Cornell University)|2022. 08. 10.

Evolutionary Game Theory and Cooperation참고 문헌 59인용 수 4

한 줄 요약

이 논문은 탈중앙화된 사회적 제재—즉, 부상하는 사회적 규범으로 모델링된 것—이 자가 이익을 추구하는 종신 학습 개개인이 중심적 조정 없이도 생산적인 노동 분담을 자율적으로 개발할 수 있도록 한다고 제안한다. 특히 일부 역할이 본질적으로 더 적은 보상을 제공하더라도 말이다. 에프실론-그리디 강화학습 프레임워크를 활용하고 규범 기반 보상 조정을 적용함으로써, 모델은 중심적 조율 없이도 안정적이고 고집단 복지 수준의 역할 분포를 달성하였으며, 이는 사회적 규범이 탈중앙화된 인센티브 조율을 통해 집단 행동의 딜레마를 해결할 수 있음을 보여준다.

ABSTRACT

Human ecological success relies on our characteristic ability to flexibly self-organize into cooperative social groups, the most successful of which employ substantial specialization and division of labor. Unlike most other animals, humans learn by trial and error during their lives what role to take on. However, when some critical roles are more attractive than others, and individuals are self-interested, then there is a social dilemma: each individual would prefer others take on the critical but unremunerative roles so they may remain free to take one that pays better. But disaster occurs if all act thusly and a critical role goes unfilled. In such situations learning an optimum role distribution may not be possible. Consequently, a fundamental question is: how can division of labor emerge in groups of self-interested lifetime-learning individuals? Here we show that by introducing a model of social norms, which we regard as emergent patterns of decentralized social sanctioning, it becomes possible for groups of self-interested individuals to learn a productive division of labor involving all critical roles. Such social norms work by redistributing rewards within the population to disincentivize antisocial roles while incentivizing prosocial roles that do not intrinsically pay as well as others.

연구 동기 및 목표

• 자신의 이익을 추구하는 개인들이 집단 내에서 필수적이지만 더 적은 보상이 주어지는 역할을 어떻게 학습하게 할 수 있는지에 도전하는 것.
• 탈중앙화된 사회적 규범—부상하는 제재 패턴—이 이타적인 역할 선택을 유도할 수 있는지 조사하는 것.
• 사회적 규범이 어떻게 보상을 재분배하여 비이타적 역할을 저지하고 보다 중요한 그러나 보상이 낮은 역할을 장려하는지 모델링하는 것.
• 자기 이기적, 전반적, 이타적 학습 전략과의 비교를 통해 규범 기반 학습 전략이 집단 수준의 노동 분담을 달성하는 데 얼마나 효과적인지 평가하는 것.

제안 방법

• 개개인은 에프실론-그리디 Q-학습 알고리즘(단계 I)을 통해 경험적으로 추정된 보상에 기반해 역할을 선택한다.
• 단계 II에서 사회적 규범은 역할 간 상호작용에 대한 장려/억제 규칙을 담은 k×k 행렬로 모델링되며, 관찰된 행동에 따라 보상이 동적으로 업데이트된다.
• 사회적 제재는 탈중앙화된 방식으로 시행된다: 충분한 보상을 확보한 개인만 규범을 시행할 수 있고, 빈곤한 개인은 시행할 수 없으며, 이는 규범 기억을 유지한다.
• 규범 진화 과정은 그룹 수익을 최대화하기 위해 힐 클라이밍 알고리즘과 희박성 페널티(λ||S||₀)를 사용한다.
• 모델은 정착지 유지와 공용 pastures 게임 두 가지를 평가하며, 보상은 집단적 역할 분포에 의해 결정된다.
• 비교 기준은 자기 이기적(에프실론-그리디), 이타적(이웃 평균 보상 가중치), 그리고 전역 최적화(공간적 역할 분포에 대한 유전 알고리즘) 전략이다.

실험 결과

연구 질문

• RQ1 탈중앙화된 사회적 제재는 자가 이익을 추구하는 개인들이 모든 핵심 역할을 포함하는 노동 분담을 학습할 수 있도록 할 수 있는가?
• RQ2 본질적 보상이 없는 상황에서 보상 재분배 규칙을 포함한 규범적 규칙이 이타적 역할 선택의 발생에 어떤 영향을 미치는가?
• RQ3 제안된 규범 기반 학습 접근 방식이 자기 이기적, 이타적, 또는 전역 최적화 전략보다 높은 집단 복지를 달성하는 데 더 효과적인가?
• RQ4 자원 제약 조건은 역할 배분에서 사회적 규범의 구현과 지속성에 어떤 영향을 미치는가?

주요 결과

• 규범 기반 학습 접근 방식은 정착지 유지 및 공용 pastures 게임 양쪽 모두에서 안정적이고 고집단 복지 수준의 역할 분포를 성공적으로 달성하였다.
• 모델은 사회적 규범이 자유의지자(프리라이더)를 효과적으로 저지하고, 더 적은 보상이지만 필수적인 역할에의 참여를 장려할 수 있음을 입증하였다.
• 탈중앙화된 제재 방식은 자기 이기적 학습 방식보다 뛰어나, 보상 불균형으로 인해 핵심 역할을 메우지 못하는 개인들이 발생하는 것을 방지하였다.
• 규범 진화 과정에 희박성 페널티(λ||S||₀)를 포함시킴으로써 더 단순하고 해석이 쉬운 규범 체계를 도출하였으며, 이는 여전히 높은 성능을 달성하였다.
• 이타적 및 자기 이기적/이타적 전략은 중간 성능를 보였지만, 항상 최적의 역할 분포를 달성하지 못하고 규범 기반 접근 방식에 뒤지었다.
• 역할이 존재하지 않을 경우에도 모델은 규범 규칙을 유지하였으며, 이는 현재의 역할 가용성과 독립적인 문화적 규범 기억이 존재함을 시사한다.