[논문 리뷰] Generalization and Exploration via Randomized Value Functions

Ian Osband, Benjamin Van Roy외 1명|arXiv (Cornell University)|2014. 02. 04.

Reinforcement Learning in Robotics참고 문헌 30인용 수 82

한 줄 요약

이 논문은 랜덤화된 최소 제곱가치 반복(RLSVI)를 소개한다. RLSVI는 $\epsilon$-greedy나 볼츠만 탐색과 같은 비효율적인 방법에 의존하는 대신 통계적으로 타당한 가치 함수를 샘플링하여 탐색과 일반화를 향상시키는 강화학습 알고리즘이다. RLSVI는 표본 없는 설정에서 $\tilde{O}(\sqrt{H^3SAT})$에 가까운 최적의 손실 한계를 달성하며, 기준 방법들에 비해 뚜렷한 계산적 성능 향상을 보인다.

ABSTRACT

We propose randomized least-squares value iteration (RLSVI) -- a new reinforcement learning algorithm designed to explore and generalize efficiently via linearly parameterized value functions. We explain why versions of least-squares value iteration that use Boltzmann or epsilon-greedy exploration can be highly inefficient, and we present computational results that demonstrate dramatic efficiency gains enjoyed by RLSVI. Further, we establish an upper bound on the expected regret of RLSVI that demonstrates near-optimality in a tabula rasa learning context. More broadly, our results suggest that randomized value functions offer a promising approach to tackling a critical challenge in reinforcement learning: synthesizing efficient exploration and effective generalization.

연구 동기 및 목표

• 큰 상태-행동 공간에서 가치 함수 일반화가 필요한 경우 효율적인 탐색을 해결하기 위해.
• 가치 기반 강화학습에서 $\epsilon$-greedy나 볼츠만 탐색과 같은 전통적 탐색 전략의 비효율성을 극복하기 위해.
• 선형으로 매개변수화된 가치 함수를 사용하면서도 강력한 탐색 성질을 유지하는 증명 가능한 효율성 알고리즘을 개발하기 위해.
• 기존 알려진 하한선에 비해 로그 인자 외에는 일치하는 이론적 손실 한계를 설정하기 위해.

제안 방법

• RLSVI는 가치 함수의 랜덤 샘플링을 통해 탐색을 이끄는 최소 제곱가치 반복을 사용한다.
• 행동 왜곡 기반 전략 대신, 통계적 불확실성을 반영하는 가치 함수의 사후 분포에서 샘플링하여 탐색한다.
• 알고리즘은 선형으로 매개변수화된 가치 함수를 유지하고, 수집된 전이 데이터를 기반으로 최소 제곱 회귀를 통해 업데이트한다.
• 원인적 탐색을 가능하게 하기 위해 베이지안 프레임워크를 사용하여 가치 함수를 사후 분포에서 샘플링한다.
• 유한한 시간 간격 $H$를 가진 에피소드적 표본 없는 MDP를 대상으로 하며, 신뢰 구간 기반 업데이트 규칙을 사용한다.
• 이론적 분석은 손실 분해과 샘플된 가치 함수의 기대 비최적성에 대한 경계를 활용한다.

실험 결과

연구 질문

• RQ1 가치 기반 강화학습에서 표준 $\epsilon$-greedy나 볼츠만 탐색보다 가치 함수의 랜덤 샘플링이 더 효율적인 탐색을 이끌 수 있는가?
• RQ2 RLSVI는 선형 함수 근사와 함께 증명 가능한 효율성 학습을 달성하며, 알려진 하한선에 근접하는가?
• RQ3 표본 효율성 측면에서 RLSVI의 일반화 성능는 행동 왜곡이 있는 표준 LSVI와 비교해 어떻게 되는가?
• RQ4 랜덤화된 가치 함수의 사용은 효과적인 일반화와 효율적인 탐색을 동시에 가능하게 하는가?

주요 결과

• RLSVI는 $\tilde{O}(\sqrt{H^3SAT})$의 손실 한계를 달성하며, 알려진 표본 없는 강화학습의 최악의 경우 하한선에 로그 인자 외에는 일치한다.
• 계산 결과에 따르면 RLSVI는 $\epsilon$-greedy나 볼츠만 탐색을 사용하는 LSVI에 비해 표본 효율성에서 뚜렷한 승리를 거두었다.
• 표본 없는 설정에서 선형으로 매개변수화된 가치 함수를 통해 일반화를 수행하는 첫 번째 증명 가능한 효율성 강화학습 방법이다.
• 이론적 분석은 가치 함수의 랜덤 샘플링이 행동 왜곡보다 더 나은 탐색을 이끌 수 있음을 확인하였으며, 특히 고차원 또는 복잡한 상태 공간에서 두드러진다.