[논문 리뷰] Silly rules improve the capacity of agents to learn stable enforcement and compliance behaviors

Raphaël Koster, Dylan Hadfield-Menell외 2명|arXiv (Cornell University)|2020. 01. 25.

Crime, Illicit Activities, and Governance인용 수 8

한 줄 요약

이 논문은 유의미한 기능적 영향이 없는 '이상한 규칙들'(예: 해로운 딸기 금지)을 도입함으로써 다중 에이전트 강화학습에서 규범 이행과 준수의 안정성을 높일 수 있음을 보여준다. 사냥 게임 환경에서, 실질적인 금지 규칙(유독성 딸기 섭취 금지) 외에 임의의 금지 규칙이 존재할 경우, 에이전트들이 더 빨리 유독성 딸기를 피하고, 더 신뢰성 있게 금지 위반을 제재하는 경향을 보이며, 이는 향상된 사회적 학습과 잘못된 제재의 감소 덕분이다.

ABSTRACT

How can societies learn to enforce and comply with social norms? Here we investigate the learning dynamics and emergence of compliance and enforcement of social norms in a foraging game, implemented in a multi-agent reinforcement learning setting. In this spatiotemporally extended game, individuals are incentivized to implement complex berry-foraging policies and punish transgressions against social taboos covering specific berry types. We show that agents benefit when eating poisonous berries is taboo, meaning the behavior is punished by other agents, as this helps overcome a credit-assignment problem in discovering delayed health effects. Critically, however, we also show that introducing an additional taboo, which results in punishment for eating a harmless berry, improves the rate and stability with which agents learn to punish taboo violations and comply with taboos. Counterintuitively, our results show that an arbitrary taboo (a "silly rule") can enhance social learning dynamics and achieve better outcomes in the middle stages of learning. We discuss the results in the context of studying normativity as a group-level emergent phenomenon.

연구 동기 및 목표

• 다중 에이전트 강화학습 환경에서 제3자 제재를 포함한 사회적 규범이 어떻게 기원하고 안정화되는지 조사하기 위해.
• 기능적 영향이 없는, 즉 '이상한 규칙'이라도 학습 동역학에서 준수와 제재의 성과를 향상시킬 수 있는지 검토하기 위해.
• 이러한 규칙이 규범 체계의 명확성과 관찰 가능성 향상으로 이어져 집단 수준의 내성 강도를 높일 수 있는지 탐색하기 위해.
• 그룹 규모, 딸기 종류 수, 유해 효과의 지연 시간과 같은 환경적 매개변수들이 규범 학습 결과에 미치는 영향을 평가하기 위해.
• 에이전트가 스스로 규범을 분류하는 데 학습이 필요 없도록, 강화학습 동역학에 기반한 집단 수준의 기원적 현상으로서의 규범성 모델링하기 위해.

제안 방법

• 에이전트들이 딸기를 채집하고, 사회적 금지 위반을 제재할 수 있는 시공간적으로 확장된 다중 에이전트 사냥 게임을 설계하기 위해.
• 환경가가 어떤 행동이 제재 대상인지 정의하는 상향식 규범 체계를 구현하여, 예를 들어 유독성 딸기 섭취와 같은 행동에 대해 표시된 가시성과 보상 신호를 통해 제재를 유도하기 위해.
• 실제 금지 규칙(유독성 딸기 섭취 금지)은 그대로 유지하면서, 기능적으로 무해한 딸기 섭취를 금지하는 임의의 금지 규칙을 도입하기 위해.
• 에이전트들이 개인 보상을 최대화하도록 딥 강화학습을 적용하며, 정확히 대상이 된 경우 제재 행동이 보상을 얻도록 하기 위해.
• 에이전트 수, 딸기 종류 수, 독성 효과가 나타나는 지연 시간 등의 환경 매개변수를 다양화하여 내성 강도 평가하기 위해.
• 학습 단계별로 집단 수익, 잘못된 제재 빈도, 학습 속도/안정성을 측정하여, 임의의 금지 규칙의 영향 평가하기 위해.

실험 결과

연구 질문

• RQ1 임의의 금지 규칙이 포함될 경우, 실제 사회적 규범을 제재하고 준수하는 데 있어 에이전트의 학습 속도와 안정성이 향상되는가?
• RQ2 그룹 규모, 딸기 종류 수, 지연된 결과의 지연 시간과 같은 환경 요소들이 임의의 금지 규칙의 효과에 영향을 미치는가?
• RQ3 규칙의 밀도가 높아지면(비기능적 규칙 포함) 규범 체계의 명확성이 향상되어 더 정확한 규범 제재가 가능해지는가?
• RQ4 이상한 규칙이 존재할 경우, 강화학습 에이전트의 잘못된 제재 횟수가 감소하는가?
• RQ5 임의의 금지 규칙의 이점이 모든 학습 단계에서 일관되게 유지되는가, 아니면 중간 단계에 국한되는가?

주요 결과

• 임의의 금지 규칙을 추가함으로써, 특히 학습 중간 단계에서 실제 규범을 제재하고 준수하는 데 있어 학습의 안정성과 속도가 크게 향상된다.
• 임의의 금지 규칙이 있는 에이전트는 그렇지 않은 에이전트보다 잘못된 제재의 빈도가 낮아지며, 딥 강화학습에서 흔히 발생하는 불안정성 문제를 완화한다.
• 임의의 금지 규칙의 효과는 그룹 밀도가 높은 환경(예: 8명의 플레이어), 독성 효과 지연 시간이 길고, 딸기 종류가 많은 조건에서 가장 두드러진다. 이러한 조건은 신용 할당 문제를 악화시키기 때문이다.
• 유독성 딸기와 비유독성 딸기 금지 규칙가 모두 존재하는 환경(R{poisonous, nonpoisonous})에서의 집단 수익은 이러한 도전적인 조건 하에서 유독성 딸기 금지 규칙만 존재하는 환경(R{poisonous})의 집단 수익을 초과한다.
• 임의의 금지 규칙는 규범적 행동을 관찰할 기회를 늘려 사회적 학습을 향상시키며, 이로 인해 에이전트들이 집단의 제재 체계 상태를 더 잘 읽을 수 있게 된다.
• 임의의 금지 규칙의 효과는 후기 학습 단계에서는 지속되지 않아, 규범 체계의 내성 강도와 비기능적 규칙 유지에 따른 부담 간의 상충 관계가 존재함을 시사한다.