[논문 리뷰] Deep Exploration via Randomized Value Functions

Ian Osband, Benjamin Van Roy외 2명|arXiv (Cornell University)|2017. 03. 22.

Advanced Bandit Algorithms Research참고 문헌 84인용 수 68

한 줄 요약

이 논문은 파라미터에 대한 사전분포와 메모리 버퍼를 활용한 Markov 계획 스타일 업데이트를 통해 깊은 탐색을 이끄는 랜덤화된 가치 함수들을 통합하는 딥 RL 접근법을 제시한다.

ABSTRACT

We study the use of randomized value functions to guide deep exploration in reinforcement learning. This offers an elegant means for synthesizing statistically and computationally efficient exploration with common practical approaches to value function learning. We present several reinforcement learning algorithms that leverage randomized value functions and demonstrate their efficacy through computational studies. We also prove a regret bound that establishes statistical efficiency with a tabular representation.

연구 동기 및 목표

• 랜덤화된 가치 함수 표현을 통해 심층 강화학습에서 효율적인 탐색을 촉진한다.
• 탐색을 안내하기 위해 TD 손실, 파라미터에 대한 사전분포, 그리고 재생 버퍼를 결합하는 학습 프레임워크를 정의한다.
• 계획을 위한 섭동된 가치 함수 추정을 생성하는 업데이트 절차를 도입한다.

제안 방법

• TD 오차 기반 손실을 사용하여 추정치를 업데이트하기 위해 랜덤화된 가치 함수를 사용한다.
• 훈련을 위한 과거 관찰의 메모리 버퍼(buffer)를 유지한다.
• 학습을 정규화하기 위해 파라미터에 대한 사전분포(prior)를 도입한다.
• 업데이트 중의 예측 범위를 지배하는 계획 수평선 H를 정의한다.
• 업데이트 시퀀스의 일부로 tilde{θ}라는 섭동/업데이트된 가치 함수 추정을 계산한다.

실험 결과

연구 질문

• RQ1 랜덤화된 가치 함수가 강화학습에서 깊은 탐색 효율성을 향상시킬 수 있는가?
• RQ2 파라미터에 대한 사전분포와 재생 버퍼가 깊은 탐색을 안정시키기 위해 어떻게 상호 작용해야 하는가?
• RQ3 계획 horizon이 랜덤화된 가치 함수 접근법의 효과성에 어떤 역할을 하는가?

주요 결과

• 이 접근법은 사전, 버퍼 데이터, 계획을 포함하는 구조화된 업데이트를 도입하여 섭동된 가치 함수 추정을 생성한다.
• 이 방법은 TD 오차 손실, 정규화 함수, 그리고 메모리 버퍼로 업데이트를 구성하여 탐색과 가치 추정의 균형을 목표로 한다.
• 문서는 사전 평균과 버퍼링된 데이터로부터 새로운 가치 함수 추정으로의 알고리즘적 진행을 개요로 제시한다.