[논문 리뷰] Provably adaptive reinforcement learning in metric spaces

Tongyi Cao, Akshay Krishnamurthy|arXiv (Cornell University)|2020. 06. 18.

Advanced Bandit Algorithms Research인용 수 3

한 줄 요약

이 논문은 Sinclair 등(2019)의 접근을 개선하여 거리공간에서 증명 가능하게 적응적인 강화학습 알고리즘을 제안하며, 이는 근접 최적 행동 집합의 복잡도를 측정하는 데에 커버링 차원보다 더 날카로운 척도인 줌(zooming) 차원에 따라 오차(regret)가 스케일링됨을 보여준다. 주요 기여는 거리공간 강화학습에서 처음으로 적응적 오차 보장을 확립한 것이다. 이는 이전의 비적응적 오차 경계를 향상시킨다.

ABSTRACT

We study reinforcement learning in continuous state and action spaces endowed with a metric. We provide a refined analysis of a variant of the algorithm of Sinclair, Banerjee, and Yu (2019) and show that its regret scales with the \emph{zooming dimension} of the instance. This parameter, which originates in the bandit literature, captures the size of the subsets of near optimal actions and is always smaller than the covering dimension used in previous analyses. As such, our results are the first provably adaptive guarantees for reinforcement learning in metric spaces.

연구 동기 및 목표

• 연속적인 거리공간에서 증명 가능하게 적응적인 강화학습 알고리즘을 개발하는 것.
• Sinclair, Banerjee, 및 Yu(2019)의 알고리즘을 개선하여 오차 분석을 향상시키는 것.
• 오차가 커버링 차원이 아닌 줸지닝(zooming) 차원에 따라 스케일링됨을 보여주는 것.
• 거리공간 강화학습에서 처음으로 적응적 오차 경계를 확립하는 것.

제안 방법

• 거리공간의 거리 구조를 갖는 알고리즘의 변종을 도입하여 거리공간에서 작동하도록 조정하는 것.
• 근접 최적 행동 집합의 복잡도 측정 척도로 줸지닝 차원을 사용하며, 이는 커버링 차원보다 본질적으로 작다.
• 거리공간의 기하학적 구조를 활용한 개선된 오차 분석을 적용하는 것.
• 줌 차원을 기반으로 잠재 수익이 높은 영역에 집중하는 동적 샘플링 전략을 도입하는 것.
• 연속적인 상태 및 행동 공간에서 탐색과 이용의 균형을 이루기 위해 거리 기반 분할 기법을 활용하는 것.

실험 결과

연구 질문

• RQ1 강화학습 알고리즘이 거리공간에서 적응적 오차 경계를 달성할 수 있는가?
• RQ2 줌 차원이 강화학습에서 커버링 차원보다 학습 복잡도를 더 날카롭게 특성화하는가?
• RQ3 기존 알고리즘의 개선된 분석을 통해 연속적인 거리공간에서 개선된 오차 보장을 확보할 수 있는가?
• RQ4 행동 공간의 내재적 복잡도에 적응하는 증명 가능 적응적 강화학습 알고리즘을 설계할 수 있는가?

주요 결과

• 알고리즘의 오차는 항상 커버링 차원보다 작거나 같은 줸지닝 차원에 따라 스케일링된다.
• 제안된 분석은 거리공간 강화학습에서 처음으로 증명 가능 적응적 오차 보장을 제공한다.
• 알고리즘은 근접 최적 행동을 포함하는 영역에 더 집중함으로써 문제의 내재적 복잡도에 적응한다.
• 이 맥락에서 줸지닝 차원은 커버링 차원보다 문제의 난이도를 더 유의미하게 측정하는 척도로 기능한다.