[논문 리뷰] Selectively Sharing Experiences Improves Multi-Agent Reinforcement Learning

Matthias Gerstgrasser, Tom Danino외 1명|arXiv (Cornell University)|2023. 11. 01.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 다중 에이전트 강화 학습에서 학습을 향상시키기 위해 높은 시간 차이(TD) 오차 경험만을 선택적으로 공유하는 분산형 다중 에이전트 강화 학습 프레임워크인 SUPER (Selective Multi-Agent Prioritized Experience Relay)를 소개한다. TD 오차를 관련성의 대체 지표로 사용하여 가장 유용한 전이(transitions)만 우선순위를 매겨 전파함으로써, SUPER는 통신 대역폭이 제한된 환경에서도 비공유 DQN 및 최신 다중 에이전트 알고리즘보다 더 빠른 수렴 속도와 뛰어난 성능을 달성한다.

ABSTRACT

We present a novel multi-agent RL approach, Selective Multi-Agent Prioritized Experience Relay, in which agents share with other agents a limited number of transitions they observe during training. The intuition behind this is that even a small number of relevant experiences from other agents could help each agent learn. Unlike many other multi-agent RL algorithms, this approach allows for largely decentralized training, requiring only a limited communication channel between agents. We show that our approach outperforms baseline no-sharing decentralized training and state-of-the art multi-agent RL algorithms. Further, sharing only a small number of highly relevant experiences outperforms sharing all experiences between agents, and the performance uplift from selective experience sharing is robust across a range of hyperparameters and DQN variants. A reference implementation of our algorithm is available at https://github.com/mgerstgrasser/super.

연구 동기 및 목표

• 에이전트 간 경험 공유를 통해 다중 에이전트 강화 학습에서의 비정적 상태와 높은 분산 문제를 해결하고자 한다.
• 중앙집중식 학습 인프라 없이도 표본 효율성과 학습 속도를 향상시키기 위한 분산 학습 환경을 개선하고자 한다.
• TD 오차를 기반으로 선택적·우선순위 기반 경험 공유가 다중 에이전트 DQN 환경에서 비선택적 또는 균일한 경험 공유보다 우월한지 조사하고자 한다.
• 에이전트의 자율성을 유지하면서도 협업 학습이 가능한 통신 효율적인 반분산형 학습 프레임워크를 개발하고자 한다.

제안 방법

• 각 에이전트는 자체 경험 재생 버퍼를 사용하여 DQN으로 독립적으로 학습한다.
• 각 에이전트는 자신의 재생 버퍼 내 모든 전이에 대해 시간 차이(TD) 오차를 계산하여 학습의 불확실성 수준을 평가한다.
• TD 오차가 가장 높은 상위-k개의 경험만을 다른 에이전트와 공유하기 위해 선택한다.
• 공유된 경험은 수신 에이전트의 재생 버퍼에 직접 삽입되어 우선순위 데이터를 활용한 이완 학습(off-policy learning)을 가능하게 한다.
• 개별 에이전트에서 우선순위 경험 재생(PER)을 사전에 사용하든 사용하지 않든 이 방법은 호환된다.
• 통신은 오직 가장 관련성이 높은 경험들만으로 제한되어 대역폭을 최소화하면서도 학습 영향을 극대화한다.

실험 결과

연구 질문

• RQ1 비선택적 공유 또는 전면 공유 대비 높은 영향력 있는 경험의 선택적 공유가 다중 에이전트 RL 성능 향상에 기여하는가?
• RQ2 경험 선택 히우리스틱으로 TD 오차를 사용할 경우, 균일하거나 무작위 선택보다 학습 효율성과 최종 성능이 향상되는가?
• RQ3 최소한의 통신만을 허용하는 분산 학습 프레임워크가 여전히 중심화된 학습 접근 방식과 유사한 성능을 달성할 수 있는가?
• RQ4 다양한 하이퍼파rameter 설정과 DQN 변형에서 선택적 경험 공유의 성능 향상 효과는 얼마나 견고한가?
• RQ5 결정적 vs. 확률적 경험 선택 방식이 성능에 영향을 주는가, 그리고 그 이유는 무엇인가?

주요 결과

• SUPER는 평가된 모든 환경 및 하이퍼파라미터 설정에서 비공유 분산 DQN 학습보다 뛰어난 성능을 보였다.
• 가장 높은 TD 오차를 가진 경험만을 공유하는 선택적 공유 전략이 모든 경험을 공유하는 것보다 유의미하게 뛰어난 성능을 보였으며, 이는 비선택적 공유가 해로울 수 있음을 시사한다.
• 선택적 경험 공유의 성능 향상 효과는 다양한 DQN 변형 및 하이퍼파라미터 설정에서 뚜렷하게 유지된다.
• 상위 경험을 결정적으로 선택하는 방식(확률적 선택보다)이 略적으로 더 좋은 결과를 낳았는데, 이는 공유가 한 번만 이루어지므로 임계 경험을 놓칠 위험이 줄어들기 때문이다.
• 매우 낮은 통신 대역폭 조건에서도 강력한 성능을 발휘하여 자원 제약 환경에서의 실현 가능성을 입증했다.
• 특히 희박한 보상 환경에서 MADDPG 및 SEAC과 같은 최신 알고리즘보다 성능이 뛰어나다.