[논문 리뷰] On the Importance of Exploration for Generalization in Reinforcement Learning

Yiding Jiang, J. Zico Kolter외 1명|arXiv (Cornell University)|2023. 06. 08.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 Ede(Exploration via Distributional Ensemble)를 제안하며, 값 기반 강화학습 방법으로, 다수의 Q-값 분포를 이용해 사전 지식이 없는 상태(에피스테믹 불확실성)를 탐색하도록 유도함으로써, 문맥적 MDP에서 일반화 능력을 향상시킨다. Ede는 Procgen과 Crafter 벤치마크에서 기존의 값 기반 및 정책 최적화 방법을 능가하는 최신 기술 수준(SOTA) 성능을 달성하며, 탐색을 일반화의 핵심 메커니즘으로 명시적으로 활용한다.

ABSTRACT

Existing approaches for improving generalization in deep reinforcement learning (RL) have mostly focused on representation learning, neglecting RL-specific aspects such as exploration. We hypothesize that the agent's exploration strategy plays a key role in its ability to generalize to new environments. Through a series of experiments in a tabular contextual MDP, we show that exploration is helpful not only for efficiently finding the optimal policy for the training environments but also for acquiring knowledge that helps decision making in unseen environments. Based on these observations, we propose EDE: Exploration via Distributional Ensemble, a method that encourages exploration of states with high epistemic uncertainty through an ensemble of Q-value distributions. Our algorithm is the first value-based approach to achieve state-of-the-art on both Procgen and Crafter, two benchmarks for generalization in RL with high-dimensional observations. The open-sourced implementation can be found at https://github.com/facebookresearch/ede .

연구 동기 및 목표

• 대부분의 표현 학습 외에 탐색 전략이 딥 강화학습에서 일반화에 미치는 영향을 조사하는 것.
• 에이전트가 다양하지만 구조적으로 유사한 환경에서 훈련되는 문맥적 MDP(CMDPs)에서 탐색이 일반화에 중요한 요소임을 규명하는 것.
• 에피스테믹 불확실성을 명시적으로 타깃으로 삼아 탐색을 이끌어내는 방법을 개발함으로써, 새로운 환경에 대한 일반화 능력을 향상시키는 것.
• 한 환경에서의 탐색을 통해 획득한 지식이 동일한 가족에 属하는 다른, 아직 보지 않은 환경에서도 유용한 전이 지식이 될 수 있음을 보여주는 것.
• 모델-프리이고 값 기반 접근 방식을 사용하여 Procgen과 Crafter와 같은 일반화 벤치마크에서 최신 기술 수준 성능를 달성하는 것.

제안 방법

• Ede는 각 구성원이 수익의 분포를 예측하는 Q-값 분포의 앙상블을 사용하여 에피스테믹 불확실성을 모델링한다.
• 앙상블 전반의 불확실성 추정치를 계산하여, 에이전트가 높은 에피스테믹 불확실성을 가진 상태를 식별하고, 이는 추가 탐색이 필요한 영역을 의미한다.
• 탐색은 앙상블 예측의 불확실성에 기반한 UCB 스타일 보너스를 통해 유도되며, 이는 불확실한 상태로의 방문을 장려한다.
• 효율적인 추론을 위해 Ede는 Crafter 실험에서는 톰슨 샘플링을 사용하고, Procgen에서는 UCB를 사용하며, 초모수는 분석을 통해 조정된다.
• 특징 추출기는 모든 앙상블 헤드에서 동시에 기울기를 사용하여 훈련되며, 이는 공유된 표현 학습이 불확실성 추정과 일치하도록 보장한다.
• 이 방법은 히버 손실과 분위수 기반 값 추정을 사용하는 QR-DQN(Q-값 분포 기반 강화학습) 프레임워크 내에서 적용된다.

Figure 1 : Exploration can help agents learn about parts of the environment which may be useful at test time, even if they are not needed for the optimal policy on the training environments.

실험 결과

연구 질문

• RQ1 표현 학습 외에 탐색 전략이 문맥적 MDP에서 일반화 성능에 상당한 영향을 미치는가?
• RQ2 한 환경에서 탐색을 통해 획득한 지식이 동일한 가족에 속하는 다른, 아직 보지 않은 환경에서의 의사결정을 향상시키는 데 전이 가능한가?
• RQ3 Q-값 분포의 앙상블을 통한 에피스테믹 불확실성 추정이 고차원 관측 공간에서 일반화를 향상시키기 위해 탐색을 효과적으로 이끌 수 있는가?
• RQ4 정책 최적화나 모델 기반 접근 방식에 의존하지 않고, 탐색을 명시적으로 타깃으로 삼는 값 기반 방법으로 딥 강화학습에서 최신 기술 수준의 일반화 성능를 달성할 수 있는가?
• RQ5 탐색 보너스 계수 및 앙상블 크기와 같은 초모수 선택에 대해 제안된 방법의 탄력성은 어떠한가?

주요 결과

• Ede는 Procgen 벤치마크에서 SAC 및 DQN-BC와 같은 강력한 정책 최적화 기반 베이스라인, 그리고 모델 기반 기반 베이스라인을 능가하는 최신 기술 수준 성능를 달성한다.
• Crafter 벤치마크에서는 기존의 값 기반 방법을 능가하고, 정책 최적화 방법과 동등하거나 슈퍼어리어한 성능를 기록하며, 강력한 일반화 능력과 샘플 효율성을 입증한다.
• 특히, 훈련 환경에서 최적의 경로가 새로운 환경에서는 최적일 수 없는 경우, 불확실성 기반 탐색을 사용할 경우 테스트 성능 향상이 뚜렷하게 나타난다.
• 아블레이션 연구 결과, 모든 앙상블 멤버의 기울기를 사용해 특징 추출기를 훈련시키는 것이 성능 향상에 기여하며, 한 개의 헤드만 사용할 경우 성능 저하가 발생한다.
• 알고리즘은 초모수 선택에 대해 뛰어난 탄력성을 보이며, TEE 보너스의 λ 및 α 값에 대해 성능가 안정적으로 유지되며, UCB의 φ 값에 대해서는 약간의 민감도를 보인다.
• Ede는 Procgen과 Crafter 양쪽에서 최신 기술 수준 성능를 달성한 최초의 모델-프리이고 값 기반 방법으로, 딥 강화학습에서 탐색이 일반화의 핵심 메커니즘임을 검증한다.

(a) Tabular CMDP