[논문 리뷰] Worst-Case Regret Bounds for Exploration via Randomized Value Functions

Daniel Russo|arXiv (Cornell University)|2019. 06. 07.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 16

한 줄 요약

이 논문은 표본 크기가 유한한 시간 범위를 가진 MDP에서 탐색을 위해 학습 데이터에 가우시안 노이즈를 주입하여 무작위화된 가치 함수를 생성하는 랜덤라이즈드 리스크 제곱가치 반복(RLSVI)을 제안한다. 이 방법에 대해 최악의 경우의 누적 손실 한계를 처음으로 확립하며, 일반적인 조건 하에서 다항식 손실이 성립함을 증명함으로써, 에psilon-greedy나 볼츠만 탐색과 같은 기존 방법에 비해 이론적으로 탄탄하고 실용적인 대안을 제공한다.

ABSTRACT

This paper studies a recent proposal to use randomized value functions to drive exploration in reinforcement learning. These randomized value functions are generated by injecting random noise into the training data, making the approach compatible with many popular methods for estimating parameterized value functions. By providing a worst-case regret bound for tabular finite-horizon Markov decision processes, we show that planning with respect to these randomized value functions can induce provably efficient exploration.

연구 동기 및 목표

• 실용적인 가치 함수 학습 알고리즘과 호환되는 이론적으로 탄탄한 탐색 방법을 개발하기 위해.
• 간단한 탐색 전략(예: 에psilon-greedy나 볼츠만 탐색)이 간단한 MDP에서 실패할 수 있는 한계를 해결하기 위해.
• 무작위화된 가치 함수를 통해 탐색을 생성하는 RLSVI에 대한 최악의 경우 손실 한계를 제공하기 위해.
• 베이지안 사전 분포나 사후 샘플링에 의존하지 않는 RLSVI의 빈도주의 분석을 수립하기 위해.
• 표본 크기가 유한한 MDP에서 다항식 최악의 경우 손실 한계를 만족하는 탐색 알고리즘의 집합을 넓히기 위해.

제안 방법

• RLSVI는 최소 제곱 정책 반복 과정에서 보상과 전이 추정치에 독립적인 가우시안 노이즈를 주입하여 무작위화된 가치 함수를 생성한다.
• 이 방법은 노이즈가 포함된 보상 $\hat{R}^k + w^k$ 와 추정된 전이 $\hat{P}^k$ 를 갖는 편향된 MDP 모델 $\overline{M}^k$ 를 사용한다. 여기서 $w^k$ 는 i.i.d. 가우시안 노이즈이다.
• 탐색은 편향된 MDP에서 최적 정책 $\pi^k$ 를 갖는 무작위화된 가치 함수 $V(\overline{M}^k, \pi^k)$ 를 기반으로 한 계획에 의해 이뤄진다.
• 핵심 기술적 단계로, 각각의 샘플링된 가치 함수가 일정 확률로 낙관적임을 보여주며, 이는 농도 불등식을 통한 손실 분석에 기여한다.
• 정책 선택과 추정 오차를 분리하기 위해, 편향된 MDP의 가짜 독립 복제본 $\tilde{M}^k$ 을 사용하여 기대 손실 차이를 유계로 제한한다.
• 증명은 [13]에서 유도된 최대 불등식과 농도 경계를 활용하며, 보상과 전이의 추정 오차에 대해 적용된다.

실험 결과

연구 질문

• RQ1 학습 데이터에 노이즈를 주입하여 생성된 무작위화된 가치 함수가 표본 크기가 유한한 MDP에서 증명 가능한 효율적인 탐색을 제공할 수 있는가?
• RQ2 RLSVI가 베이지안 사전 분포에 의존하지 않고도 문제 매개변수에 대해 다항식 최악의 경우 손실 한계를 달성하는가?
• RQ3 특히 빈도주의 설정 하에서, RLSVI의 성능은 낙관적 알고리즘과 비교해 이론적으로 어떻게 다른가?
• RQ4 선형 밴드잇에서의 톰슨 샘플링 분석을 이 무작위화된 가치 함수 접근법을 통해 표본 크기가 유한한 강화 학습에 어떻게 적용할 수 있는가?
• RQ5 노이즈 분산은 RLSVI 프레임워크에서 낙관성 확보와 손실 통제에 어떤 역할을 하는가?

주요 결과

• 논문은 표본 크기가 유한한 시간 범위를 가진 MDP에서 RLSVI에 대해 최악의 경우 손실 한계를 확립하였으며, 손실이 문제 매개변수에 대해 다항식적으로 증가함을 보였다.
• 손실 한계는 $\tilde{O}(H^3 \sqrt{SK})$ 의 순서를 가지며, 여기서 $H$ 는 수평선, $S$ 는 상태 수, $A$ 는 행동 수, $K$ 는 에피소드 수이다.
• 분석 결과, RLSVI가 샘플링하는 각 무작위화된 가치 함수가 일정 확률로 낙관적임을 보여주며, 이는 손실 유도의 핵심 단계이다.
• 보상과 전이 추정 오차에 대한 농도 불등식을 적용하여, 편향된 MDP의 가치 함수와 진짜 MDP의 가치 함수 간 기대 차이를 유계로 제한한다.
• 값 함수 노름 $\|V^{k}_{h+1}\|_\infty$ 의 유계는 $\tilde{O}(H^{5/2}\sqrt{S})$ 로 나타나며, 이는 전체 손실 스케일링에 기여한다.
• 명시적인 불확실성 집합이나 사후 샘플링이 필요 없이도 강건한 성능를 달성하여, 표준 함수 근사와의 호환성이 확보된다.