[논문 리뷰] Joint Attention for Multi-Agent Coordination and Social Learning

Dennis Lee, Natasha Jaques외 5명|arXiv (Cornell University)|2021. 04. 15.

Reinforcement Learning in Robotics참고 문헌 57인용 수 4

한 줄 요약

이 논문은 다중 에이전트 강화 학습(MARL)에서 공동 주의 메커니즘을 제안하여 에이전트가 서로의 시각적 주의를 일치시킴으로써 고차원의 공동 행동 공간에서의 탐색 비용을 줄인다. 반복적 시각 주의 아키텍처를 사용해 에이전트의 주의 가중치를 일치시키는 훈련을 통해 협업과 사회적 학습을 향상시키며, 중심화된 크리틱 기반 베이스라인보다 우수한 성능을 보이며 전문가 에이전트로부터의 학습을 가속화한다.

ABSTRACT

Joint attention - the ability to purposefully coordinate attention with another agent, and mutually attend to the same thing -- is a critical component of human social cognition. In this paper, we ask whether joint attention can be useful as a mechanism for improving multi-agent coordination and social learning. We first develop deep reinforcement learning (RL) agents with a recurrent visual attention architecture. We then train agents to minimize the difference between the attention weights that they apply to the environment at each timestep, and the attention of other agents. Our results show that this joint attention incentive improves agents' ability to solve difficult coordination tasks, by reducing the exponential cost of exploring the joint multi-agent action space. Joint attention leads to higher performance than a competitive centralized critic baseline across multiple environments. Further, we show that joint attention enhances agents' ability to learn from experts present in their environment, even when completing hard exploration tasks that do not require coordination. Taken together, these findings suggest that joint attention may be a useful inductive bias for multi-agent learning.

연구 동기 및 목표

• 공동 주의가 다중 에이전트 강화 학습에 효과적인 인덕티브 바이어스가 될 수 있는지 조사하기 위해.
• 다중 에이전트 환경에서 공동 행동 공간 탐색의 지수적 비용을 줄이기 위해.
• 초보 에이전트가 전문가 에이전트로부터 더 빨리 학습할 수 있도록 사회적 학습을 향상시키기 위해.
• 다양한 환경에서 공동 주의 에이전트의 일반화 성능을 평가하기 위해.

제안 방법

• 에이전트는 환경의 주목할 만한 요소들에 집중할 수 있도록 반복적 시각 주의 아키텍처를 갖춘다.
• 공동 주의 유도 요건이 도입되어, 에이전트의 주의 가중치 간 차이를 최소화하도록 보상한다.
• 제한된 수의 주의 헤드에 대한 소프트맥스를 사용해 버티브를 만들며, 관련 없는 정보를 걸러낸다.
• 공동 훈련, 분산 실행(CTDE) 프레임워크를 활용하며, 주의 일치에 기반한 공유 보상을 사용한다.
• 상호작용 이력에 기반해 주의를 조건화하기 위해 반복 정책 네트워크를 사용한다. 이는 목표 지향적 인식을 가능하게 한다.
• 협업 과제와 전문가-교사 시나리오를 포함한 다양한 환경에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 공동 주의가 다중 에이전트 강화 학습에서 공동 주의를 통해 환경의 공통 요소에 집중함으로써 탐색 비용을 줄일 수 있는가?
• RQ2 복잡한 과제에서 중심화된 크리틱 기반 베이스라인을 초월해 공동 주의가 다중 에이전트 협업을 향상시킬 수 있는가?
• RQ3 공동 주의가 비협업 과제에서도 전문가가 주목할 만한 환경적 요소에 집중하도록 유도함으로써 사회적 학습을 향상시킬 수 있는가?
• RQ4 기존 MARL 방법에 비해 공동 주의 메커니즘이 새로운 환경에 대한 일반화 성능을 향상시킬 수 있는가?

주요 결과

• 공동 주의 에이전트는 여러 협업 환경에서 경쟁적인 중심화된 크리틱 기반 베이스라인보다 높은 최종 보상을 달성하며 성능이 뛰어나다.
• 공동 주의 메커니즘은 샘플 복잡도를 감소시켜, 명시적 협업이 필요하지 않은 과제도 전문가 시범 학습으로부터 더 빨리 학습할 수 있도록 한다.
• TaskList 환경에서 공동 주의 에이전트는 전문가로부터 학습하는 데서 기존 학습보다 훨씬 더 빠르게 학습을 완료했으며, 이는 향상된 사회적 학습 능력을 보여준다.
• NoStag 및 AllStags와 같은 수정된 테스트 환경에서도 일반화 성능이 유지되거나 향상되었으며, 환경 변화에 대한 강건성을 보였다.
• 장애물(예: 벽)이 있는 환경에서 성능 저하가 감소했으며, 이는 주의 필터링이 일반화를 향상시킨다는 것을 시사한다.
• 공동 주의를 통해 AllStags 환경에서 에이전트가 사슴을 붙잡는 행동을 학습할 수 있었으며, 이는 베이스라인이 학습하지 못한 행동으로 협업 능력 향상을 강조한다.