[논문 리뷰] Exploration in Deep Reinforcement Learning: From Single-Agent to Multiagent Domain

Jianye Hao, Tianpei Yang외 6명|arXiv (Cornell University)|2021. 09. 14.

Reinforcement Learning in Robotics참고 문헌 200인용 수 13

한 줄 요약

이 논문은 딥 강화학습(DRL)과 다중에이전트강화학습(MARL)에서 탐색 방법에 대한 종합적인 서베이를 제시하며, 이들을 불확실성 중심 및 내재적 동기 중심 접근으로 분류한다. 다양한 벤치마크에서 통합된 실험적 비교를 제공하고, 복잡한 환경에서 샘플 효율적인 탐색을 위한 열린 과제와 향후 방향성을 규명한다.

ABSTRACT

Deep Reinforcement Learning (DRL) and Deep Multi-agent Reinforcement Learning (MARL) have achieved significant successes across a wide range of domains, including game AI, autonomous vehicles, robotics, and so on. However, DRL and deep MARL agents are widely known to be sample inefficient that millions of interactions are usually needed even for relatively simple problem settings, thus preventing the wide application and deployment in real-industry scenarios. One bottleneck challenge behind is the well-known exploration problem, i.e., how efficiently exploring the environment and collecting informative experiences that could benefit policy learning towards the optimal ones. This problem becomes more challenging in complex environments with sparse rewards, noisy distractions, long horizons, and non-stationary co-learners. In this paper, we conduct a comprehensive survey on existing exploration methods for both single-agent and multi-agent RL. We start the survey by identifying several key challenges to efficient exploration. Beyond the above two main branches, we also include other notable exploration methods with different ideas and techniques. In addition to algorithmic analysis, we provide a comprehensive and unified empirical comparison of different exploration methods for DRL on a set of commonly used benchmarks. According to our algorithmic and empirical investigation, we finally summarize the open problems of exploration in DRL and deep MARL and point out a few future directions.

연구 동기 및 목표

• 딥 강화학습(DRL)과 다중에이전트강화학습(MARL)에서 샘플 비효율성의 심각한 문제, 특히 열악한 탐색으로 인한 문제를 해결하기 위해.
• 불확실성 기반 및 내재적 동기 기반 접근이라는 두 핵심 범주에 따라 DRL 및 MARL의 기존 탐색 방법을 체계적으로 분류하고 분석하기 위해.
• 표준 DRL 벤치마크에서 탐색 방법의 통합된 실험적 평가를 제공하여 성능 및 효율성 간 직접 비교를 가능하게 하기 위해.
• 희박 보상, 고수평, 비정상적인 다중에이전트 설정에서 현재 탐색 기법의 핵심 한계와 열린 문제를 규명하기 위해.
• 복잡한 실세계 RL 응용 분야에서 탐색 효율성을 향상시키기 위한 유망한 연구 방향을 제시하여 향후 연구를 이끌기 위해.

제안 방법

• 탐색 방법을 두 주요 범주로 분류: 불확실성 중심(예: 지식 부족 불확실성, 가치 함수의 불확실성) 및 내재적 동기 중심(예: 궁금함, 내재적 보상 할당).
• 내재적 동기 및 스킬 탐색을 공식화하기 위해 상호정보량 최대화와 변분 추론을 사용하는 통합 프레임워크 도입.
• 스킬 탐색에서 알려지지 않은 상태의 커버리지 향상을 위해 상태 마진 매칭(SMM)을 활용하여, 에이전트가 알려진 상태에 집중하는 문제를 해결.
• 일致한 학습 프rotocol를 사용하여 표준 DRL 벤치마크(예: Atari, MuJoCo)에서 방법을 평가하여 공정한 비교를 가능하게 함.
• 자기 모방 학습(SIL)을 보완적 접근으로 통합하여, 에이전트가 자신의 과거 성공적 트레이젝터리를 모방함으로써 학습 효율성을 향상.
• 상태와 스킬 간의 상호정보량을 근사하기 위해 변분 하한을 사용하여 확장 가능하고 미분 가능한 탐색 목표를 실현.

실험 결과

연구 질문

• RQ1 희박 보상과 장수평 작업에서 불확실성 중심 및 내재적 동기 중심 탐색 방법은 각각 어떤 차이를 보이는가?
• RQ2 비정상적인 공학습자들이 존재하는 다중에이전트 설정에서 기존 탐색 방법의 핵심 한계는 무엇인가?
• RQ3 상호정보량 최대화와 상태 마진 매칭이 탐색에서 상태공간 커버리지 향상에 얼마나 기여하는가?
• RQ4 자기 모방 학습과 트레이젝터리 수준의 모방은 내재 보상 기반 방법에 비해 샘플 효율성 측면에서 어떻게 비교되는가?
• RQ5 DRL과 MARL에서 효율적인 탐색을 위한 열린 문제와 향후 연구 방향은 무엇인가?

주요 결과

• 지식 부족 불확실성 추정과 같은 불확실성 기반 방법은 초기 탐색에서 뛰어난 성능을 보이지만, 지연된 신용 할당 문제로 인해 장수평 작업에서는 어려움을 겪을 수 있다.
• 궁금함과 내재적 보상 할당과 같은 내재적 동기 기반 방법은 특히 희박 보상 환경에서 샘플 효율성을 크게 향상시킨다.
• EDL에서의 상태 마진 매칭(SMM)은 균일한 상태 방문을 유지할 수 있어, 이전 방법이 실패하는 환경에서도 상태 커버링 스킬을 탐색할 수 있도록 한다.
• 자기 모방 학습(SIL) 및 그 변종들(예: DTSIL, ESIL)은 성공적인 트레이젝터리를 재사용함으로써 희박 보상 영역에서 표준 오프-폴리시 방법보다 뛰어난 성능을 보인다.
• 실험적 평가 결과, 내재적 동기와 가치 함수 정규화 또는 궁금함 기반 탐색을 조합한 방법이 Atari 및 MuJoCo 벤치마크에서 최고의 성능을 기록한다.
• 진전이 있음에도 불구하고, 현재 방법들은 학습 도중 공학습자 정책이 변화하는 비정상성 문제로 인해 MARL에서 탐색이 불안정해지는 데 여전히 어려움을 겪고 있다.