[논문 리뷰] Zooming for Efficient Model-Free Reinforcement Learning in Metric Spaces

Abdelaziz Touati, Adrien Ali Taïga외 1명|arXiv (Cornell University)|2020. 03. 09.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 11

한 줄 요약

이 논문은 연속적인 상태-행동 공간에 적합한 메트릭을 갖춘 온라인 모델-프리 강화학습 알고리즘인 ZoomRL을 제안한다. 메트릭 기반의 분할 전략을 사용해 고보상이며 자주 방문되는 영역으로 적응적으로 확대함으로써, ZoomRL은 worst-case regret을 $\widetilde{O}(H^{5/2}K^{(d+1)/(d+2)})$로 달성한다. 여기서 $H$는 계획 수평, $K$는 에피소드 수, $d$는 커버링 차원이다. 이 알고리즘은 향상된 메트릭 의존적 regret 한계를 확보하고, 최적 행동가치 함수의 리프시츠 연속성에 대한 소규모 모델 오Specification에 대해 강건하다.

ABSTRACT

Despite the wealth of research into provably efficient reinforcement learning algorithms, most works focus on tabular representation and thus struggle to handle exponentially or infinitely large state-action spaces. In this paper, we consider episodic reinforcement learning with a continuous state-action space which is assumed to be equipped with a natural metric that characterizes the proximity between different states and actions. We propose ZoomRL, an online algorithm that leverages ideas from continuous bandits to learn an adaptive discretization of the joint space by zooming in more promising and frequently visited regions while carefully balancing the exploitation-exploration trade-off. We show that ZoomRL achieves a worst-case regret $ ilde{O}(H^{\frac{5}{2}} K^{\frac{d+1}{d+2}})$ where $H$ is the planning horizon, $K$ is the number of episodes and $d$ is the covering dimension of the space with respect to the metric. Moreover, our algorithm enjoys improved metric-dependent guarantees that reflect the geometry of the underlying space. Finally, we show that our algorithm is robust to small misspecification errors.

연구 동기 및 목표

• 지수적으로 큰 또는 무한한 상태-행동 공간을 가진 연속적인 상태-행동 공간에서의 효율적 탐색 문제를 해결하기 위해.
• 메트릭 구조를 활용해 고보상 영역에서의 이산화를 적응적으로 개선하는 모델-프리 강화학습 알고리즘을 개발하기 위해.
• 커버링 차원을 통해 기하학적 구조를 반영하는 증명 가능한 효율적 regret 한계를 수립하기 위해.
• 최적 Q-함수의 리프시츠 연속성에 대한 소규모 오차에 대해 강건성을 확보하기 위해.

제안 방법

• 주어진 메트릭 기반으로 연속적인 상태-행동 공간의 계층적 분할을 사용하며, 높은 가치와 높은 방문 빈도를 가진 영역을 동적으로 정밀화한다.
• 탐색과 이용의 균형을 이루기 위해 메트릭 의존적 신뢰구간을 사용하는 '불확실성에 대한 낙관주의(OFU)' 원칙을 적용한다.
• 분할 영역의 반지름과 방문 횟수에 비례하는 오차 범위를 갖는 가치 함수 추정치를 유지한다.
• 리프시츠 밴딧에 영감을 얻은 확대 메커니즘을 활용하여, 누적 보상과 방문 수를 바탕으로 유망한 영역에서 더 미세한 분할을 생성한다.
• Azuma-Hoeffding 및 기타 집중 불등식을 활용해 시간 단계와 분할 영역을 가로질러 가치 함수 오차의 재귀적 분해를 수행함으로써 regret 분석을 수행한다.
• 핵심 요소로는 분할의 국소적 메트릭 반지름에 따라 의존하고 방문 횟수에 따라 줄어드는 적응적 신뢰구간을 사용한다.

실험 결과

연구 질문

• RQ1 메트릭 구조를 활용해 연속적인 상태-행동 공간을 효율적으로 탐색할 수 있는 모델-프리 강화학습 알고리즘을 설계할 수 있는가?
• RQ2 에피소드 MDP에서 적응적이고 메트릭 인식 기반의 이산화 전략으로 달성할 수 있는 regret 한계는 무엇인가?
• RQ3 메트릭 공간의 커버링 차원에 따라 알고리즘의 성능은 어떻게 스케일링되는가?
• RQ4 가정된 최적 Q-함수의 리프시츠 연속성에서 소규모 편차가 발생하더라도 알고리즘이 여전히 regret 보장을 유지할 수 있는가?

주요 결과

• ZoomRL은 worst-case regret을 $\widetilde{O}(H^{5/2}K^{(d+1)/(d+2)})$로 달성한다. 여기서 $H$는 계획 수평, $K$는 에피소드 수, $d$는 공간의 커버링 차원이다.
• regret 한계는 기하학적 구조를 반영하며, 균일한 이산화 방법에 비해 향상된 스케일링을 보인다.
• $H=1$일 경우, $K$에 대한 regret 스케일링이 연속적인 컨텍스트 밴딧의 알려진 하한값과 일치하여 이 영역에서 최적성을 나타낸다.
• 알고리즘은 소규모 모델 오Specification에 대해 강건하다: 진짜 최적 Q-함수가 추가 오차 $\epsilon$까지 리프시츠이면, regret은 오직 $O(HK\epsilon)$만 증가한다.
• 알고리즘의 적응적 분할은 저보상 또는 낮은 방문 빈도의 영역에서의 낭비된 탐색을 줄여 샘플 효율성을 향상시킨다.
• 이론적 분석은 가치 함수 추정치의 누적 오차가 재귀적 오차 전파와 메트릭 의존적 신뢰구간을 통해 제어됨을 입증한다.