[논문 리뷰] Modeling Moral Choices in Social Dilemmas with Multi-Agent Reinforcement Learning

Elizaveta Tennant, Stephen Hailes외 1명|arXiv (Cornell University)|2023. 01. 20.

Evolutionary Game Theory and Cooperation인용 수 4

한 줄 요약

이 논문은 유틸리타arian주의, 디오니티즘, 덕목 윤리학을 기반으로 단순화된 도덕적 보상 함수를 통합하여 다중 에이전트 강화학습에서 도덕적 의사결정을 모델링하는 새로운 프레임워크를 제안한다. 실험 결과, 규범 중심 및 친절 중심의 도덕적 에이전트는 협력하는 경향을 보이나 쉽게 약탈당하는 것으로 나타났고, 평등성 중심의 에이전트는 학습 과정에서 약탈적 행동을 보였으며, 혼합된 덕목을 가진 에이전트는 협력적일 수는 있으나 여전히 약탈에 취약한 것으로 나타났다.

ABSTRACT

Practical uses of Artificial Intelligence (AI) in the real world have demonstrated the importance of embedding moral choices into intelligent agents. They have also highlighted that defining top-down ethical constraints on AI according to any one type of morality is extremely challenging and can pose risks. A bottom-up learning approach may be more appropriate for studying and developing ethical behavior in AI agents. In particular, we believe that an interesting and insightful starting point is the analysis of emergent behavior of Reinforcement Learning (RL) agents that act according to a predefined set of moral rewards in social dilemmas. In this work, we present a systematic analysis of the choices made by intrinsically-motivated RL agents whose rewards are based on moral theories. We aim to design reward structures that are simplified yet representative of a set of key ethical systems. Therefore, we first define moral reward functions that distinguish between consequence- and norm-based agents, between morality based on societal norms or internal virtues, and between single- and mixed-virtue (e.g., multi-objective) methodologies. Then, we evaluate our approach by modeling repeated dyadic interactions between learning moral agents in three iterated social dilemma games (Prisoner's Dilemma, Volunteer's Dilemma and Stag Hunt). We analyze the impact of different types of morality on the emergence of cooperation, defection or exploitation, and the corresponding social outcomes. Finally, we discuss the implications of these findings for the development of moral agents in artificial and mixed human-AI societies.

연구 동기 및 목표

• 사회적 딜레마 상황에서 강화학습 에이전트의 행동에 영향을 주는 다양한 도덕 체계—유틸리타arian주의, 디오니티즘, 덕목 윤리학—이 어떻게 작용하는지 탐구하는 것.
• 핵심 윤리 체계를 단순화하면서도 대표성을 유지할 수 있도록 도덕적 보상 함수를 체계적으로 표현하는 방법을 개발하는 것.
• 세 가지 반복적 사회적 딜레마 게임에서 이원 상호작용 간의 잠재적 협력, 배신, 약탈 행동을 분석하는 것.
• 인공지능 에이전트 간의 도덕적 다양성이 윤리적 인공지능 및 인간-AI 혼합 사회 설계에 어떤 영향을 미치는지 탐구하는 것.
• 복잡한 다중 에이전트 환경에서 도덕적 에이전트 상호작용에 대한 향후 연구를 위한 기초적인 방법론 플랫폼을 제공하는 것.

제안 방법

• 유틸리타arian주의(전체 보상 최대화), 디오니티즘(규범 준수), 덕목 윤리학(친절, 평등성과 같은 내재적 덕목 강조) 기반의 세 가지 윤리 체계에 기반한 도덕적 보상 함수 설계.
• 순수한 자기 이익 수익이 아닌 도덕적 보상 함수에 의해 이끌리는 내재적 동기 부여 강화학습 에이전트 구현.
• 반복적 이원 상호작용을 통해 세 가지 반복 사회적 딜레마 게임(협력자 딜레마, 자발적 봉사자 딜레마, 사슴 사냥 딜레마)에서 에이전트 평가.
• 고정된 상대 유형을 가진 다중 에이전트 강화학습 설정을 통해 100회의 독립적인 학습 실행 동안 학습 동역학과 사회적 결과 분석.
• 친절과 평등성을 조합한 가중치 조절이 가능한 혼합된 덕목 보상 함수 도입을 통해 다목적 도덕적 행동 연구.
• 수렴 속도, 협력 비율, 약탈 패턴 분석을 통해 도덕적 에이전트 유형 간 비교 수행.

실험 결과

연구 질문

• RQ1 유틸리타arian주의, 디오니티즘, 덕목 기반의 도덕적 보상 구조가 다중 에이전트 강화학습에서 협력 또는 배신의 출현에 어떤 영향을 미치는가?
• RQ2 도덕적 에이전트가 반복 사회적 딜레마에서 상호작용할 경우의 학습 동역학과 사회적 결과는 어떻게 되는가?
• RQ3 친절과 평등성을 균형 있게 고려한 혼합된 덕목 도덕적 에이전트는 순수한 덕목 에이전트와 비교해 협력성과 약탈에 대한 취약성 측면에서 어떻게 다른가?
• RQ4 규범 중심 도덕적 에이전트(예: 디오니티즘, 덕목-친절)는 협력 정책을 학습하지만 여전히 약탈 가능성이 있는가?
• RQ5 다목적 도덕적 보상 함수에서 다양한 덕목의 가중치 조정이 에이전트 행동과 사회적 결과에 어떤 영향을 미치는가?

주요 결과

• 유틸리타arian주의, 디오니티즘, 덕목-친절 에이전트는 세 게임 전반에서 일관되게 협력 정책을 학습하여 파레토 최적 결과를 달성했다.
• 이러한 규범 중심 및 친절 중심의 에이전트는 사적인 이득을 노리는 상대방에 의해 체계적으로 약탈당했으며, 협력이 항상 약탈에 대한 저항력을 보장하지는 않는다는 점을 시사했다.
• 덕목-평등성 에이전트는 수렴 전 학습 단계에서 약탈적 행동을 보였으며, 평등성 중심의 윤리 체계가 협력의 안정성에 악영향을 줄 수 있음을 시사했다.
• 친절과 평등성을 동일한 가중치로 조합한 혼합된 덕목 에이전트는 순수한 친절 에이전트와 유사하게 행동했으며, 협력적일 수는 있으나 여전히 약탈에 취약했다. 이는 평등성의 강력한 유도 조건이 없을 경우 친절이 지배적임을 나타냈다.
• 평등성에 대한 가중치(β)가 매우 높아질 경우에만 혼합된 덕목 에이전트는 더 방어적이고 덜 협력적인 행동으로 전환되었으며, 이는 도덕적 상호보완이 정책 형성에 상당한 영향을 미친다는 것을 보여주었다.
• 본 연구는 복잡한 다중 에이전트 환경에서 다양한 도덕적 에이전트를 모델링하기 위한 방법론적 기반을 확립하였으며, 향후 도덕적 상호작용의 역학 연구에 기여할 수 있는 기반을 마련했다.