[논문 리뷰] Stabilising Experience Replay for Deep Multi-Agent Reinforcement Learning

Jakob Foerster, Nantas Nardelli외 5명|arXiv (Cornell University)|2017. 02. 28.

Reinforcement Learning in Robotics참고 문헌 29인용 수 333

한 줄 요약

이 논문은 경험 재생으로 심층 다중 에이전트 Q-러닝을 안정화하기 위한 두 가지 방법: 다에이전트 중요 샘플링과 서로 다른 학습 단계의 재생 데이터를 구분하기 위한 지문(Fingerprinting) 접근법.

ABSTRACT

Many real-world problems, such as network packet routing and urban traffic control, are naturally modeled as multi-agent reinforcement learning (RL) problems. However, existing multi-agent RL methods typically scale poorly in the problem size. Therefore, a key challenge is to translate the success of deep learning on single-agent RL to the multi-agent setting. A major stumbling block is that independent Q-learning, the most popular multi-agent RL method, introduces nonstationarity that makes it incompatible with the experience replay memory on which deep Q-learning relies. This paper proposes two methods that address this problem: 1) using a multi-agent variant of importance sampling to naturally decay obsolete data and 2) conditioning each agent's value function on a fingerprint that disambiguates the age of the data sampled from the replay memory. Results on a challenging decentralised variant of StarCraft unit micromanagement confirm that these methods enable the successful combination of experience replay with multi-agent RL.

연구 동기 및 목표

• 비정상성 아래에서 비연합 완전 협력 다에이전트 설정에 경험 재생을 적용하는 도전 과제의 동기 부여.
• 에이전트가 동시 학습할 때 안정적이고 샘플 효율적인 학습을 가능하게 하는 방법 개발.
• 제안된 방법의 효과를 난이도가 높은 부분 관찰 가능 다에이전트 도메인(분산 StarCraft 미세관리)에서 입증.
• 경험 재생이 심층 다에이전트 Q-러닝과 효과적으로 결합될 수 있는지 평가.
• 비정상성이 재생에 미치는 영향과 이를 완화하는 방법에 대한 분석 제공.

제안 방법

• 재생 튜플에 다른 에이전트의 정책 정보를 보강하고 재생 학습 중 중요가중 손실을 적용하여 다에이전트 중요 샘플링 도입.
• 다른 에이전트의 정책 변화를 고려하기 위해 환경 외(off-environment) Bellman 방정식을 보강하고 중요 샘플링 보정을 도출.
• 각 에이전트의 Q-함수를 저차원 지시자(예: 학습 이터레이션 e, 탐색 비율 ε)로 조건화하여 재생 데이터의 출처를 구분하는 다에이전트 지문(Fingerprints) 제안.
• 부분 관찰 가능성을 다루기 위해 심층 Q-러닝에 순환 아키텍처를 확장하고 순방향(피드포워드) 및 순환 모델을 모두 평가.
• 분산 StarCraft 미세관리 도메인에서 XP, XP+IS, XP+FP 변형을 재생 여부와 함께 비교하는 실험을 수행.
• 다변 환경에서 분산 시 가중치를 안정시키기 위해 중요 가중치를 잘라내고(normalise) 분산을 제어.

실험 결과

연구 질문

• RQ1 동시 학습 에이전트로 인한 비정상성에도 불구하고 심층 다에이전트 Q-러닝에서 경험 재생을 stabilise할 수 있는가?
• RQ2 중요 샘플링과 데이터 연령 지문이 다에이전트 RL의 재생 데이터의 비정상성을 효과적으로 완화하는가?
• RQ3 이 방법들이 분산 StarCraft 미세관리 과제에서 학습 안정성과 샘플 효율성에 어떤 영향을 미치는가?

주요 결과

• 안정화가 없는 경험 재생(NOXP)은 탐색이 감소함에 따라 그리 greed한 정책에 과적합되어 성능이 낮다.
• 일반 XP는 NOXP보다 안정성과 성능을 개선하지만 다른 에이전트의 비정상성을 완전히 설명하지 못한다.
• 다에이전트 중요 샘플링(XP+IS)은 피드포워드 모델에서 약간의 이득을 제공하지만 부분 관찰 가능 설정에서 근사적이며 가중치의 분산이 클 수 있다.
• 지문(XP+FP)은 피드포워드 모델의 성능을 크게 향상시키며 학습 단계 구별로 재생 데이터를 더 잘 활용하게 한다; IS와 FP를 결합해도 추가 이점은 없다.
• 순환 모델은 궤적 정보가 비정상성을 부분적으로 완화하고, 지문이 관찰에 단계 관련 정보를 인코딩하여 여전히 더 도움을 준다.
• 전반적으로 XP+FP는 테스트된 분산 StarCraft 미세관리 작업에서 일관되게 베이스라인을 능가한다.