[논문 리뷰] Agent-Time Attention for Sparse Rewards Multi-Agent Reinforcement Learning

Jennifer She, Jayesh K. Gupta외 1명|arXiv (Cornell University)|2022. 10. 31.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 다중 에이전트 강화 학습에서 흩어진 이른바 지연된 전역 보상의 재분배를 위해 주로 에이전트와 시간을 종합적으로 모델링하는 어텐션 기반 기법인 Agent-Time Attention (ATA)을 제안한다. ATA는 희박한 보상이 존재하는 확장된 MiniGrid 환경에서 강력한 기준 모델들을 능가하며, 협업형 다중 에이전트 강화 학습 환경에서 뛰어난 신용 할당과 정책 학습 능력을 입증한다.

ABSTRACT

Sparse and delayed rewards pose a challenge to single agent reinforcement learning. This challenge is amplified in multi-agent reinforcement learning (MARL) where credit assignment of these rewards needs to happen not only across time, but also across agents. We propose Agent-Time Attention (ATA), a neural network model with auxiliary losses for redistributing sparse and delayed rewards in collaborative MARL. We provide a simple example that demonstrates how providing agents with their own local redistributed rewards and shared global redistributed rewards motivate different policies. We extend several MiniGrid environments, specifically MultiRoom and DoorKey, to the multi-agent sparse delayed rewards setting. We demonstrate that ATA outperforms various baselines on many instances of these environments. Source code of the experiments is available at https://github.com/jshe/agent-time-attention.

연구 동기 및 목표

• 협업형 다중 에이전트 강화 학습(MARL)에서 시간과 에이전트 모두에 걸쳐 어려운 신용 할당을 겪는 희박하고 지연된 보상을 다루기 위한 것.
• 협업을 유지하면서 개별 에이전트에 대한 조밀한 국지적 보상을 전역 희박 보상으로 재분배할 수 있는 방법을 개발하기 위한 것.
• 기존 강화 학습 알고리즘에 최소한의 수정으로도 분산 정책의 효과적인 훈련을 가능하게 하기 위한 것, 중앙집중적 훈련 분산 실행(CTDE) 철학에 부합하기 위해.
• 장수행 및 희박한 보상이 존재하는 환경, 예를 들어 확장된 MiniGrid 환경(MultiRoom, DoorKey)에서 모델을 평가하기 위한 것.

제안 방법

• ATA는 전역 보상 재분배를 위해 에이전트별 및 시간적 표현에 대해 어텐션을 계산하는 트랜스포머 기반 아키텍처를 사용한다.
• 보조 예측 손실을 통해 전역 팀 보상과 개별 에이전트 보상을 모두 예측하도록 학습한다.
• 시간적 신용 할당을 향상시키기 위해 중간 타임스텝과 최종 타임스텝에서의 보상 예측을 동시에 수행하는 이중 감독 전략을 적용한다.
• 전역 및 국지 예측 손실의 조합을 통해 보상 재분배를 훈련하며, 손실 구성 요소의 중요도 평가를 위한 분리 실험을 실시한다.
• IPG 및 IAC와 같은 표준 정책 그래เดient 방법과 호환되며, 기존 MARL 프레임워크에 즉각 통합 가능한 플러그 앤 플레이 성격을 지닌다.
• 내부 표현에 대한 아키텍처 분리 실험을 통해 LSTM과 트랜스포머 인코더, 평균과 어텐션 기반 집계 방식의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 시간과 에이전트 모두에 걸쳐 종합적인 신용 할당이 희박한 보상 환경에서의 학습에 어떻게 기여하는가?
• RQ2 지연된 보상이 존재하는 MARL에서 시간적 신용 할당과 에이전트별 신용 할당의 상대적 기여도는 어떠한가?
• RQ3 아키텍처 선택(예: 트랜스포머 대비 LSTM, 어텐션 대비 평균 집계)이 보상 재분배 모델의 성능에 어떤 영향을 미치는가?
• RQ4 전역/국지 손실, 중간/최종 타임스텝 손실 구성 중 어떤 조합이 희박한 보상 MARL에서 최적의 정책 학습을 이끌는가?
• RQ5 ATA는 장수행 및 희박한 보상이 존재하는 다양한 다중 에이전트 환경으로 일반화 가능한가?

주요 결과

• 확장된 MiniGrid 환경에서 희박한 보상이 존재하는 상황에서, ATA는 에이전트 축 또는 시간 축에만 신용 할당을 수행하는 기존 기준 모델들을 능가한다.
• 중간 타임스텝에서의 예측 손실을 사용한 훈련이 성능 향상에 크게 기여함을 확인하여, 초기 감독이 시간적 신용 할당을 향상시킨다는 점을 시사한다.
• 초기 훈련 단계에서 트랜스포머 아키텍처가 LSTM보다 항상 뛰어난 성능을 보이며, 이는 신용 할당에 있어 더 나은 시퀀스 모델링 능력을 지닌다는 것을 의미한다.
• 에이전트 표현의 단순 평균 집계 방식이 더 복잡한 어텐션 메커니즘보다 종종 뛰어난 성능을 보이며, 이는 낮은 에이전트 수 설정에서 기울기 안정성의 영향일 수 있다.
• 전역 및 국지 예측 손실의 조합이 항상 성능 향상에 기여하지는 않으며, 일부 경우에서는 전역 손실만으로도 최상의 결과를 얻는다.
• IAC는 보상 재분배 유무에 관계없이 성능이 열악한 편이었으며, 이는 희박한 보상 환경에서 비현실적인 가치 학습 신호의 영향을 받기 때문이며, 이는 강력한 가치 학습의 중요성을 강조한다.