[논문 리뷰] Distributional Reinforcement Learning for Efficient Exploration

Borislav Mavrin, Zhang, Shangtong외 4명|arXiv (Cornell University)|2019. 05. 13.

Target Tracking and Data Fusion in Sensor Networks인용 수 30

한 줄 요약

이 논문은 분포 기반 Q-학습(QR-DQN)을 활용하여 가치 분포의 상위 분위수를 사용해 탐색 보너스를 계산하고, 내재 불확실성을 억제하기 위한 감쇠 스케줄을 적용함으로써 딥 강화학습을 위한 새로운 탐색 방법을 제안한다. 이 방법은 49개의 Atari 게임에서 QR-DQN 대비 평균 누적 보상에서 483% 향상되며, CARLA 3D 주행 시뮬레이터에서 안전 보상 학습 속도가 두 배로 증가한다.

ABSTRACT

In distributional reinforcement learning (RL), the estimated distribution of value function models both the parametric and intrinsic uncertainties. We propose a novel and efficient exploration method for deep RL that has two components. The first is a decaying schedule to suppress the intrinsic uncertainty. The second is an exploration bonus calculated from the upper quantiles of the learned distribution. In Atari 2600 games, our method outperforms QR-DQN in 12 out of 14 hard games (achieving 483 \% average gain across 49 games in cumulative rewards over QR-DQN with a big win in Venture). We also compared our algorithm with QR-DQN in a challenging 3D driving simulator (CARLA). Results show that our algorithm achieves near-optimal safety rewards twice faster than QRDQN.

연구 동기 및 목표

• 분포 기반 강화학습를 통해 학습된 가치 분포의 불확실성을 활용하여 딥 강화학습에서 효율적인 탐색 문제를 해결한다.
• 분포 기반 가치 추정에서 파rametric 불확실성과 내재 불확실성을 구분하고, 내재 불확실성을 억제하여 탐색 효율성을 향상시킨다.
• 가치 분포의 상위 분위수를 사용하여 계산된 계산적으로 가벼운 탐색 보너스 기반 메커니즘을 개발하여 낙관적인 탐색을 장려한다.
• QR-DQN 기준선 대비 어려운 환경, 특히 Atari 2600과 CARLA 3D 주행 시뮬레이터에서 뛰어난 성능을 입증한다.
• 특히 충돌 영향을 최소화하기 위해 분위수 기반 행동 선택을 사용하여 안전이 중요한 환경에서 위험 감수성 있는 행동을 가능하게 한다.

제안 방법

• 가치 분포의 전체 분포를 학습하기 위해 Quantile Regression DQN (QR-DQN)을 사용하여 파rametric 불확실성과 내재 불확실성을 모두 포괄한다.
• 시간이 지남에 따라 내재 불확실성의 영향을 줄이기 위해 감쇠 스케줄을 적용하여 탐색 안정성을 향상시킨다.
• 학습된 가치 분포의 상위 분위수(예: 0.95 또는 0.99)를 기반으로 탐색 보너스를 계산하여 낙관적인 행동 선택을 장려한다.
• Hoeffding의 부등식을 사용하여 가치 분포의 고신뢰도 상한을 추정하고, 분위수 추정기의 渐近 정규성을 활용한다.
• 꼬리가 무거운 분포로 인한 과대평가를 방지하기 위해 잘린 분산 추정을 구현하여 탐색 보너스를 정밀화한다.
• QR-DQN을 초과하는 추가 계산이 없는 상태에서 탐색 보너스를 탐욕 정책과 조합하여 학습 중 효율적인 탐색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 QR-DQN에서 가치 분포의 상위 분위수를 사용하여 효과적이고 효율적인 탐색 보너스를 생성할 수 있는가?
• RQ2 분포 기반 가치 추정에서 내재 불확실성을 어떻게 억제할 수 있는가? 이는 열악한 탐색 행동을 방지하기 위함이다.
• RQ3 분위수 기반 행동 선택이 자율 주행 시뮬레이터와 같은 고위험 환경에서 안전성과 성능을 향상시키는가?
• RQ4 제안된 방법이 epsilon-greedy 탐색을 사용하는 QR-DQN 대비 Atari 2600에서 누적 보상과 샘플 효율성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 비대칭 가치 분포가 복잡한 환경에서 탐색과 위험 감수성 정책 학습에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 49개의 Atari 게임에서 QR-DQN 대비 평균 누적 보상에서 483% 향상되었으며, 특히 게임 Venture에서 483% 향상되었다.
• CARLA 3D 주행 시뮬레이터에서 이 방법은 QR-DQN보다 두 배 빠르게 최적에 가까운 안전 보상을 달성하여 안전 지표를 크게 향상시켰다.
• 가치 분포의 10번째 분위수(q₀.₁)를 사용한 행동 선택은 차선 이탈까지의 평균 거리를 1.35 km에서 4.55 km로 향상시켰으며, 이는 위험 감수성 향상을 시사한다.
• VaR(Q(s,a)₉₀%) 기반의 위험 감수성 정책은 정적 물체 충돌의 경우 50% 감소시키고 보행자 충돌의 경우도 50% 감소시켰으며, 충돌 빈도는 유사하거나 略로 높은 편이었다.
• 14개의 어려운 Atari 게임 중 12개에서 QR-DQN을 능가하여 복잡한 환경에서도 뛰어난 견고성을 입증했다.
• 감쇠 스케줄의 사용은 내재 불확실성을 효과적으로 억제하여 학습 중 높은 분산 행동을 선호하는 것을 방지했다.