[논문 리뷰] Scalable Coordinated Exploration in Concurrent Reinforcement Learning

Maria Dimakopoulou, Ian Osband외 1명|arXiv (Cornell University)|2018. 05. 01.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

이 논문은 공유 환경에서 동시에 운영되는 강화학습 에이전트 팀을 위한 확장 가능하고 조율된 탐색 방법을 제안한다. 시드 샘플링과 랜덤화된 가치 함수 학습을 조합함으로써, 특히 신경망을 사용하는 고차원 설정에서 더 적은 에이전트로 더 빠른 수렴을 달성하는 효율적인 탐색을 가능하게 한다.

ABSTRACT

We consider a team of reinforcement learning agents that concurrently operate in a common environment, and we develop an approach to efficient coordinated exploration that is suitable for problems of practical scale. Our approach builds on the seed sampling concept introduced in Dimakopoulou and Van Roy (2018) and on a randomized value function learning algorithm from Osband et al. (2016). We demonstrate that, for simple tabular contexts, the approach is competitive with those previously proposed in Dimakopoulou and Van Roy (2018) and with a higher-dimensional problem and a neural network value function representation, the approach learns quickly with far fewer agents than alternative exploration schemes.

연구 동기 및 목표

• 대규모 동시 다중 에이전트 강화학습에서 효율적인 탐색 문제를 해결하기 위해.
• 이전 방법에 비해 효과적인 탐색을 위해 필요한 에이전트 수를 줄이기 위해.
• 신경망 가치 함수 근사치를 사용하여 고차원 환경에서 빠른 학습을 가능하게 하기 위해.

제안 방법

• Dimakopoulou와 Van Roy(2018)의 시드 샘플링을 다중 에이전트 간의 탐색을 조율하는 데 적용한다.
• Osband 등(2016)의 랜덤화된 가치 함수 학습을 도입하여 확률적 가치 추정을 통해 탐색을 장려한다.
• 에이전트가 동시에 행동하는 공유 환경을 사용하며, 랜덤화된 가치 함수 샘플링을 통해 탐색의 다양성을 활용한다.
• 신경망을 가치 함수를 표현하는 데 사용하여 고차원 상태-행동 공간으로의 확장 가능성을 확보한다.
• 랜덤화된 가치 함수에서 유도된 공유 탐색 신호를 통해 에이전트 행동을 조율한다.

실험 결과

연구 질문

• RQ1 다수의 에이전트가 참여하는 대규모 고차원 환경에서 조율된 탐색을 효과적으로 확장할 수 있는가?
• RQ2 제안된 방법은 이전 방법에 비해 샘플 효율성과 필요 에이전트 수 측면에서 어떻게 비교되는가?
• RQ3 시드 샘플링과 랜덤화된 가치 함수의 통합이 학습 속도와 성능 향상에 얼마나 기여하는가?

주요 결과

• 간단한 표본 환경에서는 이전 방법들과 경쟁 가능한 성능을 달성한다.
• 신경망 가치 함수 근사치를 사용하는 고차원 설정에서는 대안적 탐색 기법보다 빠르게 학습한다.
• 기본 방법에 비해 효과적인 탐색과 학습을 달성하기 위해 훨씬 적은 수의 에이전트가 필요하다.
• 시드 샘플링과 랜덤화된 가치 함수의 통합은 동시 다중 에이전트 강화학습에서 안정적이고 확장 가능한 조율을 가능하게 한다.