[논문 리뷰] Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning

Natasha Jaques, Angeliki Lazaridou외 6명|arXiv (Cornell University)|2018. 10. 19.

Experimental Behavioral Economics Studies인용 수 262

한 줄 요약

본 논문은 대조적 반사적 추론(counterfactual reasoning)을 통해 다른 에이전트에 미치는 인과적 영향을 측정하는 사회적 영향력 내재 보상을 MARL에 도입함으로써, 중앙집중식 훈련 없이 에이전트 간의 조정과 의미 있는 자발적 의사소통을 가능하게 한다.

ABSTRACT

We propose a unified mechanism for achieving coordination and communication in Multi-Agent Reinforcement Learning (MARL), through rewarding agents for having causal influence over other agents' actions. Causal influence is assessed using counterfactual reasoning. At each timestep, an agent simulates alternate actions that it could have taken, and computes their effect on the behavior of other agents. Actions that lead to bigger changes in other agents' behavior are considered influential and are rewarded. We show that this is equivalent to rewarding agents for having high mutual information between their actions. Empirical results demonstrate that influence leads to enhanced coordination and communication in challenging social dilemma environments, dramatically increasing the learning curves of the deep RL agents, and leading to more meaningful learned communication protocols. The influence rewards for all agents can be computed in a decentralized way by enabling agents to learn a model of other agents using deep neural networks. In contrast, key previous works on emergent communication in the MARL setting were unable to learn diverse policies in a decentralized manner and had to resort to centralized training. Consequently, the influence reward opens up a window of new opportunities for research in this area.

연구 동기 및 목표

• 사회적 영향력을 기반으로 한 내재 보상을 통해 다중 에이전트 RL에서의 조정 및 의사소통을 촉진한다.
• 대조적 추론을 사용하여 인과적 영향력을 정의하고 계산하여 에이전트가 다른 에이전트에 미치는 영향을 정량화한다.
• 영향력 보상이 에이전트 행동 간 상호 정보의 최대화와 조정을 촉진하는 것 사이의 정합성을 보여준다.
• 영향력이 다른 에이전트의 내부 모델(MOA)을 통한 독립 학습을 가능하게 하며 여전히 조정된 행동을 달성할 수 있음을 보여준다.

제안 방법

• 카운터펙츄얼한 행동을 사용하여 한 에이전트가 다른 에이전트의 행동 분포를 얼마나 바꾸는지 정량화하는 내재 영향력 보상을 정의한다.
• 에 영향을 주는 보상을 에이전트의 행동 간 상호 정보와 관련시키고 개선된 조정을 실증적으로 검증한다.
• 영향력 보상에 의해 안내되는 명시적 의사소통 채널을 프레임워크에 확장하고 자발적 의사소통의 질을 평가한다.
• 중앙 집중식 접근 없이도 독립 학습을 가능하게 하는 다른 에이전트의 모델(MOA)을 도입하고 영향력을 계산한다.
• 픽셀에서 엔드-투-엔드로 정책을 학습하되 순환 신경망 구조와 A3C 스타일 업데이트를 사용하고, 영향력 가중치에 대한 커리큘럼 학습을 적용한다.

실험 결과

연구 질문

• RQ1 인과적 영향력을 기반으로 한 내재 보상이 중앙 집중식 훈련 없이 다중 에이전트 환경에서 조정을 개선할 수 있는가?
• RQ2 에이전트 간의 인과적 영향력 최대화가 더 의미 있는 자발적 의사소통으로 이어지는가?
• RQ3 MOA를 갖춘 에이전트가 독립적으로 학습하면서도 여전히 조정된 행동을 달성할 수 있는가?
• RQ4 실제로 영향력 보상이 에이전트의 행동 간 상호정보의 최대화와 관련이 있는가?

주요 결과

• 사회적 영향력 보상을 이용해 학습한 에이전트는 Sequential Social Dilemmas(SSD)에서 기본 모델 및 제거된 에이전트보다 더 높은 집합 보상을 달성한다.
• 영향력 기반 의사소통은 학습 속도를 높이고 더 높은 집단 보상을 가져오며 더 의미 있고 조정된 메시지를 유도한다.
• MOA를 사용하는 에이전트는 내부적으로 영향력을 계산하고 중앙 집중식 컨트롤러 없이도 조정을 달성하여 기준선보다 우수하다.
• 의사소통의 영향을 받는 것과 개별 보상 증가 간에 상당한 상관관계가 있어 정보적 의사소통을 뒷받침한다.
• 영향력은 에이전트 간 행동의 명시적 의존성을 만들어 대규모 MARL 구에서 기울기 분산을 줄일 수 있다.
• 영향력 메커니즘은 청자의 환경 보상과 일치하는 출현적 의사소통을 이끌어내고 협력을 향상시킨다.