[논문 리뷰] Exploration by Distributional Reinforcement Learning

Yunhao Tang, Shipra Agrawal|arXiv (Cornell University)|2018. 05. 04.

Reinforcement Learning in Robotics참고 문헌 16인용 수 11

한 줄 요약

이 논문은 귀환 분포를 정규 분포 파라미터로 모델링하여 탐색 방법을 통합하는 분포 강화 학습 프레임워크를 제안한다. 이는 파rameter-space 노이즈를 통한 효율적 탐색을 가능하게 한다. 이 방법, Gauss 탐색(GE)은 가치 함수 파라미터의 학습된 불확실성으로 탐색과 이용의 균형을 이루며, 희소 보상 제어 작업에서 뛰어난 성능을 발휘한다.

ABSTRACT

We propose a framework based on distributional reinforcement learning and recent attempts to combine Bayesian parameter updates with deep reinforcement learning. We show that our proposed framework conceptually unifies multiple previous methods in exploration. We also derive a practical algorithm that achieves efficient exploration on challenging control tasks.

연구 동기 및 목표

• 깊이 강화 학습에서 기존의 여러 탐색 방법을 하나의 분포 강화 학습 프레임워크로 통합하는 것.
• 어려운 희소 보상 환경에서 ε-그리디와 같은 난이도 높은 탐색 전략의 한계를 해결하는 것.
• 가치 함수 파라미터의 불확실성을 통해 체계적이고 효율적인 탐색을 가능하게 하는 실용적인 알고리즘을 개발하는 것.
• DQN, NoisyNet, 및 행동 노이즈를 적용한 표준 DQN과 비교하여 어려운 제어 벤치마크에서 더 높은 샘플 효율성과 성능을 보여주는 것.

제안 방법

• 각 네트워크 가중치와 편향에 대해 μθ 및 σθ 파라미터를 가진 정규 분포의 가족을 사용하여 귀환 분포를 모델링한다.
• 귀환 분포를 전파하기 위해 분포 기반 벨먼 연산자를 적용하며, 부적합도 측도를 사용하여 가장 가까운 파라미터 분포로 투영한다.
• 기대 벨먼 오차와 엔트로피 정규화를 조합한 하이브리드 목표 함수를 사용하여 탐색과 이용의 균형을 맞춘다.
• 랜덤화된 크리틱을 통한 정책 그래디언트 업데이트를 수행하며, 크리틱의 파라미터를 학습된 분포에서 샘플링하여 학습 과정에 노이즈를 주입한다.
• 재구성 기법을 사용하여 파라미터 분포의 미분 가능 학습을 가능하게 하여 탐색 행동의 엔드 투 엔드 최적화를 허용한다.
• 탐색과 수렴 간의 균형을 맞추기 위해 그리드 서치를 통해 ρ(파라미터 분포의 산포를 제어) 및 σ(엔트로피 정규화를 제어) 하이퍼파라미터를 튜닝한다.

실험 결과

연구 질문

• RQ1 분포 강화 학습을 사용하여 후행 표본 추출과 파라미터 스페이스 노이즈 주입과 같은 기존 탐색 방법을 통합할 수 있는가?
• RQ2 귀환 분포를 가우시안 가족으로 모델링하는 것이 딥 강화 학습에서 탐색을 어떻게 향상시키는가?
• RQ3 파라미터 분포의 불확실성은 희소 보상 환경에서 샘플 효율성에 어떤 영향을 미치는가?
• RQ4 하이퍼파라미터 ρ와 σ는 제안된 프레임워크에서 탐색과 이용 간의 트레이드오���에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 어려운 제어 작업에서 표준 DQN의 ε-그리디 및 NoisyNet보다 성능이 뛰어나게 되는가?

주요 결과

• 제안된 Gauss 탐색(GE) 알고리즘은 DQN이 제한된 영역에 집중하는 것과는 달리 더 체계적이고 광범위한 상태공간 커버리지를 달성한다.
• 희소 보상 환경인 Sparse CartPole, Sparse MountainCar, Sparse Acrobot에서 GE는 DQN과 NoisyNet보다 학습 진행 상황과 최종 성능에서 뚜렷한 우월성을 보인다.
• 희소 보상이 있는 연속 제어 작업에서, 랜덤화된 크리틱을 사용한 DDPG(GE)는 행동 노이즈 주입을 사용한 DDPG보다 더 빠른 진행 속도를 보인다.
• 성능은 하이퍼파라미터 ρ와 σ에 대해 비단조화적이며, 탐색의 광범위성과 수렴 속도 사이의 중요한 트레이드오프를 나타낸다.
• 이 방법은 단일 분포 강화 학습 프레임워크 내에서 밴드잇에 대한 후행 표본 추출과 DQN의 베이지안 파라미터 업데이트를 성공적으로 통합한다.
• 실험 결과, ρ와 σ 모두 성능에 매우 중요하며, 로그 스케일에서의 그리드 서치를 통해 최적의 값을 도출할 수 있었다.