[논문 리뷰] Efficient Model-free Reinforcement Learning in Metric Spaces

Zhao Song, Wen Sun|arXiv (Cornell University)|2019. 05. 01.

Reinforcement Learning in Robotics참고 문헌 19인용 수 20

한 줄 요약

이 논문은 거리 구조를 가진 연속 상태-행동 공간을 위한 모델 자유 강화학습 알고리즘인 넷 기반 Q-학습(NbQl)을 제안한다. 최적 Q-값 함수의 리프시츠 연속성과 $\epsilon$-넷 기반의 근사 카운트 탐색을 활용함으로써, 계획 오라클이나 생성 모델이 필요 없이도 $\widetilde{O}(T^{(d+1)/(d+2)})$의 리그레트 바운드를 달성한다. 여기서 $d$는 커버링 차원이다.

ABSTRACT

Model-free Reinforcement Learning (RL) algorithms such as Q-learning [Watkins, Dayan 92] have been widely used in practice and can achieve human level performance in applications such as video games [Mnih et al. 15]. Recently, equipped with the idea of optimism in the face of uncertainty, Q-learning algorithms [Jin, Allen-Zhu, Bubeck, Jordan 18] can be proven to be sample efficient for discrete tabular Markov Decision Processes (MDPs) which have finite number of states and actions. In this work, we present an efficient model-free Q-learning based algorithm in MDPs with a natural metric on the state-action space--hence extending efficient model-free Q-learning algorithms to continuous state-action space. Compared to previous model-based RL algorithms for metric spaces [Kakade, Kearns, Langford 03], our algorithm does not require access to a black-box planning oracle.

연구 동기 및 목표

• 이산 표본 MDP에서의 효율적인 모델 자유 Q-학습을 거리 구조를 가진 연속 상태-행동 공간으로 확장한다.
• 거리 공간에서 이전 모델 기반 강화학습 접근법에서 요구되던 계획 오라클이 필요 없도록 한다.
• 최적 Q-값 함수의 리프시츠 연속성에 기반한 이론적 보장을 통해 연속 공간에서의 탐색을 확립한다.
• 실제로 사용되는 근사 카운트 기반 탐색 전략에 대한 이론적 기반을 제공한다.

제안 방법

• 거리 공간에서 유incertainty에 대한 낙관주의를 적용하는 Q-학습 변종인 넷 기반 Q-학습(NbQl)을 제안한다.
• 상태-행동 공간에 대한 $\epsilon$-넷을 사용하여 방문 수를 유지함으로써, 리프시츠 연속성에 기반한 일반화를 가능하게 한다.
• 모든 상태-행동 쌍이 아닌 넷의 점들만을 대상으로 방문 수를 추적하는 근사 카운트 기반 탐색 전략을 적용한다.
• 메트릭 공간의 커버링 수를 복잡도 측정 기준으로 사용하여 상태-행동 공간 크기에 의존하지 않도록 한다.
• 가치 함수 갱신 시 추정 오차를 제어하기 위해 허프딩 유사 농도 경계를 사용한다.
• 시간 단계에 따른 재귀적 분해를 통해 최적 정책과 학습된 정책 간의 차이를 분석함으로써 리그레트 바운드를 유도한다.

실험 결과

연구 질문

• RQ1 거리 구조를 가진 연속 상태-행동 공간에서 모델 자유 Q-학습이 증명 가능하게 효율적인가?
• RQ2 최적 Q-값 함수의 리프시츠 연속성이 계획 오라클 없이도 효율적인 탐색을 가능하게 하는가?
• RQ3 근사 카운트 기반 탐색 전략이 거리 구조를 가진 연속 공간에서 이론적으로 정당화될 수 있는가?
• RQ4 이러한 설정에서 리그레트가 커버링 차원과 시간 수평선에 대해 최적의 의존성을 가지는가?

주요 결과

• NbQl는 $\widetilde{O}(T^{(d+1)/(d+2)})$의 리그레트 바운드를 달성하며, 여기서 $d$는 상태-행동 공간의 커버링 차원이다.
• 리그레트 바운드는 상태-행동 공간 크기의 의존성 대신 메트릭 공간의 커버링 수에 따라 결정되며, 이는 연속 영역으로의 확장 가능성을 보장한다.
• 이전의 메트릭 공간 기반 모델 기반 접근법과 달리, 계획 오라클에 대한 접근이 필요 없다.
• 이론적 분석은 실무에서 성공을 거둔 근사 카운트 기반 탐색 전략이 연속 강화학습에서 이론적으로 타당함을 입증한다.
• 이 바운드는 최적 Q-값 함수가 리프시츠 연속임을 가정할 때 유도되며, 이는 역학이나 보상의 매끄러움 조건보다 더 약한 조건이다.
• 이 방법은 고전적 Q-학습과 유사한 구조를 가지며, 간단하고 구현이 용이하여 실용적이다.