[논문 리뷰] Agent-Temporal Attention for Reward Redistribution in Episodic Multi-Agent Reinforcement Learning

Baicen Xiao, Bhaskar Ramasubramanian외 1명|arXiv (Cornell University)|2022. 01. 12.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 입사형 다중에이gent 강화학습에서 밀도 높은 보상 재분배를 위한 주의 기반 방법인 AREL을 제안한다. 궤적에 대한 시간적 주의와 공동 상태에 대한 에이전트 주의를 결합함으로써 AREL은 핵심 상태를 식별하고 에피소드 보상을 재분배하여 신뢰도 할당을 향상시키며, Particle World와 StarCraft에서 최신 기법들에 비해 더 높은 누적 보상과 향상된 승리 비율을 달성한다.

ABSTRACT

This paper considers multi-agent reinforcement learning (MARL) tasks where agents receive a shared global reward at the end of an episode. The delayed nature of this reward affects the ability of the agents to assess the quality of their actions at intermediate time-steps. This paper focuses on developing methods to learn a temporal redistribution of the episodic reward to obtain a dense reward signal. Solving such MARL problems requires addressing two challenges: identifying (1) relative importance of states along the length of an episode (along time), and (2) relative importance of individual agents' states at any single time-step (among agents). In this paper, we introduce Agent-Temporal Attention for Reward Redistribution in Episodic Multi-Agent Reinforcement Learning (AREL) to address these two challenges. AREL uses attention mechanisms to characterize the influence of actions on state transitions along trajectories (temporal attention), and how each agent is affected by other agents at each time-step (agent attention). The redistributed rewards predicted by AREL are dense, and can be integrated with any given MARL algorithm. We evaluate AREL on challenging tasks from the Particle World environment and the StarCraft Multi-Agent Challenge. AREL results in higher rewards in Particle World, and improved win rates in StarCraft compared to three state-of-the-art reward redistribution methods. Our code is available at https://github.com/baicenxiao/AREL.

연구 동기 및 목표

• 에피소드 보상 또는 지연된 보상이 발생하는 협동 다중에이전트 강화학습에서 에이전트가 에피소드 종료 시에만 글로벌 보상을 받는 문제를 해결하기 위해.
• 에피소드 시간선 상의 상태 중요도(시간 차원)와 각 타임스텝에서의 에이전트 간 중요도(에이전트 차원)를 식별하여 보상 할당을 향상시키기 위해.
• 다중에이전트 환경에서 공동 관측 공간의 팽창을 피하는 스케일러블한 주의 기반 방법을 개발하기 위해.
• 기존 MARL 알고리즘과의 통합을 가능하게 하기 위해 밀도 높고 학습 가능한 보상 신호를 생성하기 위해.
• 효과적인 보상 재분배가 입사형 MARL 환경에서 전략적 탐색보다 우월할 수 있음을 입증하기 위해.

제안 방법

• AREL은 각 에이전트의 개별 관측 시퀀스를 처리하여 장기 의존성을 모델링하고 영향력 있는 상태 전이를 식별하는 공유된 시간 주의 모듈을 사용한다.
• 에이전트 주의 모듈은 에이전트 간 주의 가중치를 기반으로 각 타임스텝에서 각 에이전트 상태가 글로벌 보상에 기여하는 상대적 기여도를 계산한다.
• 에이전트 주의 모듈의 출력은 각 타임스텝에서 각 에이전트에 대해 밀도 높고 시간적으로 재분배된 보상 신호를 생성하는 데 사용된다.
• 손실 함수에 분산 기반 정규화 항을 통합하여 핵심 상태에서 의미 있는 보상 분포가 이루어지도록 유도한다.
• 재분배된 보상은 QMIX나 MADDPG와 같은 임의의 가치 기반 MARL 알고리즘과 호환되며, 즉시 통합이 가능하다.
• AREL은 기존 MARL 정책을 수정하지 않으며, 학습 효율성을 향상시키기 위한 보상 형상화 모듈로 작동한다.

실험 결과

연구 질문

• RQ1 주의 기반 기법이 입사형 보상이 있는 장수명 다중에이전트 강화학습 과제에서 핵심 상태를 효과적으로 식별할 수 있는가?
• RQ2 공동 관측 처리가 필요 없이도 시간적 및 에이전트별 보상 할당을 스케일러블하게 동시에 모델링할 수 있는가?
• RQ3 주의 기반으로 인한 밀도 높은 보상 재분배가 최신 기준 보상 할당 기법보다 학습 성능을 향상시키는가?
• RQ4 효과적인 보상 재분배가 입사형 MARL 환경에서 전략적 탐색을 얼마나 뛰어넘는가?
• RQ5 주의 기반 기법이 작업 목표와 일치하는 해석 가능하고 의미 있는 보상 신호를 학습할 수 있는가?

주요 결과

• Particle World 환경에서 AREL은 세 가지 최신 기준 보상 재분배 기법보다 더 높은 누적 보상을 달성하여 학습 효율성이 향상됨을 입증했다.
• StarCraft Multi-Agent Challenge에서 AREL은 베이스라인 기법들보다 승리 비율을 향상시켜 입사형 보상 하에서 더 나은 정책 학습을 이룬 것으로 나타났다.
• AREL이 재분배한 보상은 에피소드 전반에 균일하지 않았으며, 예를 들어 서로 다른 랜드마크를 향해 협동적으로 이동하는 상태에 더 높은 값을 할당했다.
• 시각화 결과에서 AREL의 주의 기반 기법이 에이전트가 서로 다른 랜드마크를 커버할 때 더 높은 보상을 할당하는 것을 보여주어 작업 목표와 일치함을 확인했다.
• 실험 결과에서 지연된 보상이 존재하는 입사형 환경에서는 효과적인 보상 재분배가 전략적 탐색(예: MAVEN)보다 더 유익한 것으로 나타났다.
• 공동 관측 처리가 필요 없이도 다중에이전트 환경에 성공적으로 스케일링되었으며, 계산 효율성이 유지되었다.