[논문 리뷰] Coordinated Exploration in Concurrent Reinforcement Learning

Maria Dimakopoulou, Benjamin Van Roy|arXiv (Cornell University)|2018. 02. 05.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 3

한 줄 요약

이 논문은 다중 에이전트 동시 학습에서 효율적인 협동 탐색을 가능하게 하는 강화학습을 위한 사후 샘플링의 새로운 확장인 시드 샘플링을 제안한다. 공유된 시드를 사용해 MDP를 생성함으로써, 에이전트들은 탐색 경로에 대한 투자와 함께 공유된 데이터에 적응하면서도 행동의 다양성을 유지한다. 이로 인해 기존의 톰슨 재샘플링 및 UCRL 기반 방법에 비해 에이전트당 누적 손실이 크게 감소한다.

ABSTRACT

We consider a team of reinforcement learning agents that concurrently learn to operate in a common environment. We identify three properties - adaptivity, commitment, and diversity - which are necessary for efficient coordinated exploration and demonstrate that straightforward extensions to single-agent optimistic and posterior sampling approaches fail to satisfy them. As an alternative, we propose seed sampling, which extends posterior sampling in a manner that meets these requirements. Simulation results investigate how per-agent regret decreases as the number of agents grows, establishing substantial advantages of seed sampling over alternative exploration schemes.

연구 동기 및 목표

• 다중 에이전트 강화학습에서 사후 샘플링 및 상한 신뢰구간 기반 방법의 단순한 확장 방식의 한계를 해결하기 위해.
• 효율적 탐색을 위한 세 가지 핵심 성질인 공유 관측치에 대한 적응성, 탐색 순서에 대한 투자, 에이전트 간 행동 다양성의 식별 및 충족을 위해.
• 기존 동시 RL 알고리즘보다 손실 최소화 측면에서 뛰어난 확장성과 강건성을 갖춘 탐색 메커니즘을 설계하기 위해.
• 시드 샘플링이 다중 에이전트 환경에서 더 빠른 수렴과 뛰어난 샘플 효율성을 가능하게 함을 입증하기 위해.

제안 방법

• 학습 시작 시 에이전트들이 공유된 난수 시드를 샘플링하며, 이 시드를 사용해 현재 사후 분포로부터 스토케스틱 MDP 모델을 생성한다.
• 각 에이전트의 MDP는 시드와 결정론적 매핑을 사용해 구성되며, 시간에 걸쳐 일관된 탐색 경로를 유지하면서도 독립적인 시드 샘플링을 통해 다양성을 보존한다.
• 이 방법은 에피소드 전체 동안 MDP 모델을 고정함으로써 투자성을 유지하며, 각 시간 단계에서의 방해적인 재샘플링을 방지한다.
• 적응성은 모든 에이전트가 수집한 데이터를 사용해 MDP 파라미터에 대한 사후 분포를 갱신함으로써 달성되며, 이는 향후 시드 기반 MDP 샘플링에 영향을 준다.
• 표준 정규분포 및 마팅게일 정규분포라는 두 가지 특정한 시드 샘플링 변형을 제안하며, 각각 다른 사전 및 가능도 가정에 맞게 설계된다.
• 탐색 다양성과 시간에 의존하는 랜덤성 간의 분리함으로써 PSRL을 동시 설정으로 일반화함으로써 안정적이고 협동적인 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 에이전트들이 동시에 학습하고 데이터를 공유할 때 다중 에이전트 강화학습이 어떻게 효율적인 탐색을 달성할 수 있는가?
• RQ2 왜 표준 사후 샘플링 및 UCB 확장 방식이 동시 설정에서 탐색을 효과적으로 조율하지 못하는가?
• RQ3 다중 에이전트 RL에서 손실 감소를 위해 협동 탐색에 필수적인 성질은 무엇인가?
• RQ4 톰슨 재샘플링 및 동시 UCRL에 비해 시드 기반 메커니즘이 손실 감소 속도를 향상시킬 수 있는가?
• RQ5 시드 샘플링은 동시 학습에서 적응성, 투자, 다양성을 동시에 어떻게 유지하는가?

주요 결과

• 최대 보상 경로 문제에서 10,000명의 에이전트와 H=10의 수평선을 가진 환경에서 시드 샘플링은 평가된 모든 알고리즘 중 가장 낮은 누적 손실을 기록했다.
• 동시 UCRL은 탐색 다양성 부족으로 인해 시드 샘플링 대비 49.9% 높은 누적 손실을 기록했지만, 투자성은 충족했다.
• 톰슨 재샘플링은 투자성 부족과 방해적인 재샘플링으로 인해 시드 샘플링 대비 191% 높은 누적 손실을 기록했다.
• 시드 샘플링의 손실 감소 속도는 문제 인스턴스에 관계없이 안정적이지만, 다른 방법들은 특정 환경에서 상당히 느린 감소 속도를 보였다.
• 표준 정규분포 및 마팅게일 정규분포 시드 샘플링 변형 모두 다른 방법들을 능가하며, 시드 기반 메커니즘의 효과성을 확인했다.
• 시뮬레이션 결과는 시드 샘플링이 일관성을 유지하면서도 다양한 경로를 탐색함으로써 최적 정책에의 수렴을 가속화함을 보여주었다.