[논문 리뷰] Exploration with Unreliable Intrinsic Reward in Multi-Agent Reinforcement Learning

Wendelin Böhmer, Tabish Rashid외 1명|arXiv (Cornell University)|2019. 06. 05.

Reinforcement Learning in Robotics참고 문헌 30인용 수 15

한 줄 요약

이 논문은 다중 에이전트 강화학습을 위한 새로운 프레임워크인 ICQL을 제안한다. 이 프레임워크는 탈중앙화된 에이전트가 공유된 경험을 통해 학습하면서 중심화된 에이전트가 탐색을 위한 내재적 보상을 수신함으로써 신뢰할 수 없는 내재적 신호의 간섭을 방지한다. 이 방법은 학습 속도를 크게 향상시키며, 부분관측 환경에서 최적의 정책에 수렴할 수 있도록 한다. 기존의 내재적 보상 접근 방식보다 뛰어난 성능을 발휘한다.

ABSTRACT

This paper investigates the use of intrinsic reward to guide exploration in multi-agent reinforcement learning. We discuss the challenges in applying intrinsic reward to multiple collaborative agents and demonstrate how unreliable reward can prevent decentralized agents from learning the optimal policy. We address this problem with a novel framework, Independent Centrally-assisted Q-learning (ICQL), in which decentralized agents share control and an experience replay buffer with a centralized agent. Only the centralized agent is intrinsically rewarded, but the decentralized agents still benefit from improved exploration, without the distraction of unreliable incentives.

연구 동기 및 목표

• 신뢰할 수 없는 내재적 보상 신호가 탈중앙화된 다중 에이전트 강화학습(MARL)에서 정책을 오도하고 최적의 학습을 방해할 수 있는 문제를 해결하기 위해.
• 큰 상태-행동 공간과 부분관측성으로 인해 방문 빈도 수치가 신뢰할 수 없게 되는 부분관측 환경에서의 지능적인 탐색을 향상시키기 위해.
• 탈중앙화된 에이전트가 불안정한 내재적 보상 신호에 휘둘리지 않으면서도 개선된 탐색의 이점을 얻을 수 있는 프레임워크를 설계하기 위해.
• 학습 중에는 전역 상태에 대한 중심화된 액세스를 활용하면서도 실행 시에는 탈중앙화된 실행을 유지함으로써 MARL에서 더 빠르고 안정적인 학습을 가능하게 하기 위해.
• 무작위 또는 균일한 탐색을 초월하는 지능적인 탐색이 요구되는 도전적인 사냥-도구 격자 환경에서 프레임워크를 검증하기 위해.

제안 방법

• 최종 레이어 활성화 값 등의 불확실성 추정을 기반으로 내재적 보상을 수신하는 중심화된 에이전트를 도입하여 탐색을 이끌기 위해.
• 중심화된 에이전트와 탈중앙화된 IQL 에이전트 간에 공통의 경험 리PLAY 버퍼를 공유함으로써 지식 전이를 가능하게 하기 위해.
• 에피소드 시작 시 중심화된 에이전트와 탈중앙화된 에이전트 사이에서 50% 확률로 무작위 전환을 수행하여 분포 이탈 문제를 줄이기 위해.
• 탈중앙화된 에이전트가 환경 보상에만 전적으로 기반하여 학습하도록 하여, 잠재적으로 신뢰할 수 없는 내재적 신호의 영향을 받지 않도록 하기 위해.
• 중심화된 에이전트의 내재적 보상은 전역 상태에 조건을 두어, 탈중앙화된 에이전트보다 더 높은 신뢰도의 불확실성 추정을 가능하게 하기 위해.
• IQL와 같은 가치 기반 MARL 알고리즘에 프레임워크를 적용하며, 향후 VDN과 QMIX로의 확장 가능성도 고려한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 강화학습에서 신뢰할 수 없는 내재적 보상이 탈중앙화된 에이전트가 최적의 정책으로 수렴하는 것을 방해할 수 있는가?
• RQ2 실행 시 탈중앙화 원칙을 위반하지 않으면서도, 전역 상태에 대한 중심화된 액세스가 부분관측 MARL 환경에서 탐색을 어떻게 향상시킬 수 있는가?
• RQ3 중심화된 에이전트가 내재적 보상을 수신하면서도, 탈중앙화된 에이전트가 개선된 탐색의 이점을 얻을 수 있고, 동일한 보상에 휘둘리지 않을 수 있는가?
• RQ4 중심화된 에이전트와 탈중앙화된 에이전트 간의 경험 및 제어 공유가 복잡한 탐색 과제에서 더 빠르고 안정적인 학습을 이끌 수 있는가?
• RQ5 제안된 ICQL 프레임워크는 기존의 내재적 보상 방법에 비해 학습 속도와 정책 최적성 측면에서 어느 정도 뛰어나게 되는가?

주요 결과

• 기존 IQL에 내재적 보상을 적용할 경우 초기 학습 속도는 빨라지지만, 불안정하고 간섭하는 신호로 인해 최적의 정책으로 수렴하지 못함을 확인하였다.
• 학습 플롯에서 녹색 곡선(IQL에 내재적 보상 적용)은 빠른 학습을 보이지만 지속적인 불안정성으로 이어지며, 이는 신뢰할 수 없는 내재적 보상 신호가 정책을 오도하고 있음을 시사한다.
• ICQL 프레임워크(파란 곡선)는 표준 IQL보다 더 빠른 학습을 이끌었으며, 테스트 성능이 뛰어나 최적의 정책으로 수렴하는 것으로 확인되었다.
• 학습 과정에서 ICQL는 중심화된 에이전트의 내재적 보상으로 인해 IQL와 유사한 불안정성을 보였지만, 이는 최종 탈중앙화된 정책에 영향을 주지 않았다.
• 테스트 성능 결과, ICQL를 통해 학습된 탈중앙화된 에이전트가 최적의 성능을 달성함을 확인하여, 중심화된 에이전트의 내재적 보상 신호가 최종 정책을 오염시키지 않음을 입증하였다.
• 중앙과 탈중앙 제어 간 50% 무작위 전환 전략은 안정적인 학습을 보장하고 분포 이탈 샘플링 문제를 완화한다.