[논문 리뷰] Principled Exploration via Optimistic Bootstrapping and Backward Induction

Chenjia Bai, Lingxiao Wang외 5명|arXiv (Cornell University)|2021. 05. 13.

Reinforcement Learning in Robotics참고 문헌 58인용 수 7

한 줄 요약

이 논문은 표본 효율성을 향상시키기 위해 낙관적 부트스트랩핑과 후방 인도를 조합한 딥 강화학습 탐색 방법인 OB2I를 제안한다. 비모수적 부트스트랩핑을 사용해 Q-값 불일치를 통해 지식 부족 불확실성을 추정하고, 에피소드 전반에 걸쳐 불확실성을 후방으로 전파함으로써 OB2I는 DRL에서 증명 가능하게 효율적인 탐색을 달성하며, MNIST 미로와 49개의 Atari 게임에서 최신 기술을 능가한다.

ABSTRACT

One principled approach for provably efficient exploration is incorporating the upper confidence bound (UCB) into the value function as a bonus. However, UCB is specified to deal with linear and tabular settings and is incompatible with Deep Reinforcement Learning (DRL). In this paper, we propose a principled exploration method for DRL through Optimistic Bootstrapping and Backward Induction (OB2I). OB2I constructs a general-purpose UCB-bonus through non-parametric bootstrap in DRL. The UCB-bonus estimates the epistemic uncertainty of state-action pairs for optimistic exploration. We build theoretical connections between the proposed UCB-bonus and the LSVI-UCB in a linear setting. We propagate future uncertainty in a time-consistent manner through episodic backward update, which exploits the theoretical advantage and empirically improves the sample-efficiency. Our experiments in the MNIST maze and Atari suite suggest that OB2I outperforms several state-of-the-art exploration approaches.

연구 동기 및 목표

• 표본 효율성 보장이 있는 탭류 및 선형 MDP에서의 이론적 보장을 유지하는 원칙적인 탐색 방법을 개발하기 위해.
• 일반적인 UCB-보상은 부트스트랩된 Q-함수에서 유도된 보편적인 UCB-보상으로 LSVI-UCB 알고리즘을 딥 RL에 확장하기 위해.
• 에피소드 내에서 시간에 일관된 방식으로 불확실성을 전파함으로써 표본 효율성을 향상시키기 위해.
• 이론 기반 탐색(예: UCB, 사후 샘플링)과 실용적인 딥 RL 응용 간 격차를 메우기 위해.
• 부트스트랩된 Q-값 불일치를 통한 불확실성 기반 탐색이 다양한 환경에서 성능 향상에 기여함을 경험적으로 검증하기 위해.

제안 방법

• OB2I는 비모수적 부트스트랩핑을 사용해 다수의 Q-네트워크를 훈련하고, 예측의 분산을 통해 지식 부족 불확실성을 추정한다.
• 부트스트랩된 Q-값의 상한 신뢰구간으로 일반적인 UCB-보상을 구성하여 낙관적 탐색을 장려한다.
• 에피소드 내에서 미래의 불확실성 추정치를 이전 시간 단계로 후방 인도하여 시간에 일관된 불확실성 전파를 보장한다.
• 이론적으로 UCB-보상이 선형 MDP에서 LSVI-UCB 보상과 동일하다는 것이 입증되어, 증명 가능하게 효율적인 방법과의 일관성을 확보한다.
• 이전 연구에서 사용된 단일 단계 불확실성 가정을 피하기 위해 낙관적 Q-값 추정과 시간적으로 연장된 탐색을 조합한다.
• 값 추정치를 향상시키고 안정성 및 표본 효율성을 향상시키기 위해 후방 업데이트를 사용한다.

실험 결과

연구 질문

• RQ1 딥 Q-네트워크에서 유도된 부트스트랩된 UCB-보상은 딥 RL에서 증명 가능하게 효율적인 탐색을 제공할 수 있는가?
• RQ2 불확실성 전파를 위한 후방 인도는 에피소드 기반 RL에서 표본 효율성을 향상시키는가?
• RQ3 OB2I는 BEBU, RND, NoisyNet과 같은 최신 기술 탐색 방법과 비교해 성능 및 강건성 측면에서 어떻게 다른가?
• RQ4 제안된 UCB-보상은 선형 MDP에서 LSVI-UCB와 이론적으로 일치하는가?
• RQ5 왜 OB2I는 Montezuma’s Revenge와 같이 짧은 수명을 가진 환경에서 성능이 열 劣하는가?

주요 결과

• OB2I는 BEBU, BEBU-UCB, BEBU-IDS 및 기타 최신 기술 방법보다 MNIST 미로 환경에서 더 높은 평균 수익을 기록한다.
• 49개 게임의 Atari 스위트에서 OB2I는 비교된 모든 방법 중에서 가장 높은 중앙값 및 평균 점수를 기록했으며, Ms. Pacman에서 중앙값 점수는 1,794.9, Video Pinball에서 80,607.0을 기록했다.
• 장수명을 가진 게임에서 성능 향상이 뚜렷하게 나타나, 장기간의 시간적 의존성이 존재할 경우 후방 불확실성 전파가 가장 효과적임을 시사한다.
• Video Pinball과 Road Runner와 같은 몇몇 게임에서 OB2I는 BEBU 대비 상대적 점수 향상률이 100% 이상을 기록했다.
• 실패 분석 결과, OB2I는 수명이 짧은 환경인 Montezuma’s Revenge에서 성능이 열 劣하지만, 여전히 기본 DQN 및 BootDQN보다 뛰어난 성능을 보였다.
• 이론적 분석을 통해 OB2I의 UCB-보상은 선형 MDP에서 LSVI-UCB 보상과 동일하다는 것이 확인되어, 증명 가능하게 효율적인 탐색과의 일관성이 검증되었다.