[논문 리뷰] Online Regret Bounds for Undiscounted Continuous Reinforcement Learning

Ronald Ortner, Daniil Ryabko|arXiv (Cornell University)|2013. 02. 11.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 44

한 줄 요약

이 논문은 연속 상태 공간을 가진 할인되지 않은 연속 MDP에 대해 상태 집합화와 상한 신뢰도(UCB)를 결합하여 불확실성에 대한 낙관주의를 실현하는 강화학습 알고리즘을 제안한다. 보상과 전이 확률에 대한 헬더 연속성 조건 하에서, $ ilde{O}(T^{(2+α)/(2+2α)})$의 첫 번째 비선형적 복리 경계를 확립하며, $α=1$일 때 1차원에서는 $ ilde{O}(T^{3/4})$가 되고, $ ilde{O}(√{T})$의 일치하는 $Ω(√{T})$ 하한 경계를 제공한다.

ABSTRACT

We derive sublinear regret bounds for undiscounted reinforcement learning in continuous state space. The proposed algorithm combines state aggregation with the use of upper confidence bounds for implementing optimism in the face of uncertainty. Beside the existence of an optimal policy which satisfies the Poisson equation, the only assumptions made are Holder continuity of rewards and transition probabilities.

연구 동기 및 목표

• 할인되지 않은 연속 상태 공간에서의 강화학습에 대해 증명 가능하게 효율적인 온라인 학습 알고리즘을 개발하는 것.
• 최소한의 가정 하에 생성 모델이나 리셋에 접근할 수 없더라도 연속 MDP에 대한 복리 경계를 유도하는 것.
• 보상과 전이가 헬더 연속일 때 연속 영역에서의 학습에 대한 이론적 보장을 확립하는 것.
• 기존의 밴드잇 복리 경계를 연속 상태를 가진 전체 MDP 설정으로 일반화하는 것.
• 일반 할인되지 않은 연속 강화학습에 대한 첫 번째 복리 경계를 제공하고, 일치하는 하한 경계를 제시하는 것.

제안 방법

• 알고리즘은 연속 상태 공간을 간격으로 나누어 유한 상태 근사화하는 상태 집합화를 사용한다.
• 상한 신뢰도(UCB)를 적용하여 불확실성에 대한 낙관주의를 실현하고, 덜 방문된 상태-행동 쌍을 우선적으로 탐색하도록 한다.
• 온라인 학습과 에피소드 기반 업데이트를 결합하며, 가치 추정의 신뢰 구간을 유지한다.
• 복리 경계는 추정 오차, 집합화 오차, 모델 불확실성으로 분해되며, 각각 헬더 연속성과 농도 불등식을 사용해 경계를 설정한다.
• 포아송 방정식 프레임워크에서 편향 함수 추정의 마팅게일 차분에 아즈마-후이프닝 부등식을 적용한다.
• 시간 단계와 에피소드 수에 대한 유니온 바운드를 통해 고확률 복리 경계를 확보하며, 로그항과 다항식 항을 신중하게 다룬다.

실험 결과

연구 질문

• RQ1 리셋이나 생성 모델에 접근할 수 없더라도 할인되지 않은 연속 강화학습에서 비선형 복리 경계를 달성할 수 있는가?
• RQ2 헬더 연속성 보장이 있는 연속 MDP에서 탐색과 이용 간의 최적 균형은 어떻게 되는가?
• RQ3 연속 상태 공간에서 차원과 부드러움 정도(헬더 매개수 $α$)에 따라 복리 경계는 어떻게 스케일링되는가?
• RQ4 이 설정에서 복리 경계에 대해 일치하는 하한 경계를 도출할 수 있는가?
• RQ5 이론적 프레임워크를 연속 행동 공간 또는 더 일반적인 함수 클래스로 확장할 수 있는가?

주요 결과

• 제안된 알고리즘은 헬더 연속성 보장이 있는 1차원 연속 MDP에서 $\tilde{O}(T^{(2+\u03b1)/(2+2\u03b1)})$의 복리 경계를 달성한다.
• 리프시츠 경우($\alpha=1$)에서는 1차원에서 복리 경계가 $\tilde{O}(T^{3/4})$로 단순화된다.
• d차원 상태 공간의 경우 복리 경계는 $\tilde{O}(T^{(2d+\u03b1)/(2d+2\u03b1)})$로 일반화된다.
• 일치하는 하한 경계 $\Omega(\sqrt{T})$가 확립되어 상한 경계가 거의 날카로운 것을 보여준다.
• 분석은 포아송 방정식과 편향 함수 분해에 기반하며, 아즈마-후이프닝 부등식을 통한 고확률 농도를 활용한다.
• 최소한의 부드러움 조건 하에서 일반 할인되지 않은 연속 강화학습에 대한 첫 번째 복리 경계이다.