[논문 리뷰] Beyond Value-Function Gaps: Improved Instance-Dependent Regret Bounds for Episodic Reinforcement Learning

Christoph Dann, Teodor V. Marinov외 2명|arXiv (Cornell University)|2021. 07. 02.

Advanced Bandit Algorithms Research참고 문헌 36인용 수 5

한 줄 요약

이 논문은 에피소딕 MDP에서 학습의 어려움을 더 잘 반영하기 위해 최적 정책 하에서 도달 가능한 상태에만 초점을 맞춘 새로운 갭 정의인 리턴 갭을 도입한다. 낙관적 알고리즘에 대해 더 날카운(instance-dependent)의 회귀한계를 유도하여, 최적 정책이 유일할 경우에만 이러한 알고리즘이 결정론적 MDP에서 거의 최적 성능을 달성할 수 있음을 보이며, 가치함수 갭에 기반한 이전 작업을 개선한 새로운 상한 및 하한을 수립한다.

ABSTRACT

We provide improved gap-dependent regret bounds for reinforcement learning in finite episodic Markov decision processes. Compared to prior work, our bounds depend on alternative definitions of gaps. These definitions are based on the insight that, in order to achieve a favorable regret, an algorithm does not need to learn how to behave optimally in states that are not reached by an optimal policy. We prove tighter upper regret bounds for optimistic algorithms and accompany them with new information-theoretic lower bounds for a large class of MDPs. Our results show that optimistic algorithms can not achieve the information-theoretic lower bounds even in deterministic MDPs unless there is a unique optimal policy.

연구 동기 및 목표

• 기존의 가치함수 갭 기반의 회귀한계가 최적 정책 하에서의 도달 가능성과 관계없이 모든 상태-행동 쌍을 동일하게 취급하는 데서 비롯되는 한계를 해결하기 위해.
• 최적 정책 하에서 도달 가능한 행동들에만 초점을 맞춘 실제 학습의 어려움을 반영하는 새로운 갭 정의인 리턴 갭을 개발하기 위해.
• 이 새로운 갭 정의를 사용하여 낙관적 알고리즘에 대한 향상된 상한 회귀한계를 도출하기 위해.
• 낙관적 알고리즘의 MDP에서의 기본 한계를 드러내는 새로운 정보이론적 하한을 수립하기 위해.
• 최적 정책이 유일하지 않은 한, 낙관적 알고리즘이 결정론적 MDP에서 정보이론적 하한에 도달할 수 없다는 것을 보여주기 위해.

제안 방법

• 최적 정책과 특정 상태-행동 쌍에서 이탈한 비최적 정책 간의 수익 차이를 측정하는 새로운 갭 정의인 리턴 갭을 제안한다.
• 최적 정책 하에서 상태-행동 쌍의 도달 가능성에 따라 회귀한계를 조건화하는 새로운 분석 프레임워크를 사용하여, 도달 불가능한 비최적 행동에 대한 과도한 페널티를 방지한다.
• 클리핑된 초과분 해체 기법을 적용하여 낙관적 알고리즘의 회귀를 바ounds하며, 새로운 최적화 보조정리(Lemma F.16)를 활용해 상한에서 H의 요소를 절약한다.
• 상한을 $ Oigl( rac{ ext{poly}(H) imes ext{polylog}(K)}{ ext{return gap}} igr) $ 형식으로 도출하여, 이전의 $ O(H imes ext{log}(K)/ ext{value-function gap}) $ 상한보다 향상시킨다.
• 리턴 갭에 의존하는 새로운 정보이론적 하한을 수립하여, 낙관적 알고리즘의 상한과 하한 사이에 $ H^2 $ 갭이 존재함을 보여준다.
• 정적 전이를 가진 간단한 MDP 예시를 통해 가치함수 갭이 지나치게 낙관적으로 평가할 수 있으며, 리턴 갭이 실제 학습 어려움을 더 잘 반영함을 설명한다.

실험 결과

연구 질문

• RQ1 최적 정책 하에서의 도달 가능성 요소를 반영하도록 갭 개념을 재정의함으로써, 에피소딕 강화학습의 회귀한계를 향상시킬 수 있는가?
• RQ2 전통적인 가치함수 갭과 비교해 볼 때, 새로운 리턴 갭 정의는 얼마나 날카운지이며 실용적 관련성이 있는가?
• RQ3 낙관적 알고리즘은 결정론적 MDP에서 정보이론적 하한에 어느 정도 근접할 수 있는가?
• RQ4 최적 정책이 유일하지 않은 경우, 낙관적 알고리즘의 상한과 하한 사이의 기본 갭은 무엇인가?
• RQ5 최적 정책이 실제로 도달 가능한 상태에서의 비최적 행동들에만 초점을 맞추어 더 날카운 회귀한계를 유도할 수 있는가?

주요 결과

• 논문은 최적 정책 하에서 도달 가능한 상태-행동 쌍에만 의존하는 새로운 리턴 갭 정의를 도입하여, 상당히 날카운 회귀한계를 도출한다.
• 리턴 갭을 사용한 상한 회귀한계는 $ Oigl( rac{SH ext{log}(K)}{ ext{min return gap}} igr) $ 로, 이는 이전의 $ Oigl( rac{SH ext{log}(K)}{ ext{min value-function gap}} igr) $ 상한보다 향상된 것이다.
• 리턴 갭에 대한 정보이론적 하한은 $ igOmegaigl( rac{ ext{log}(K)}{H imes ext{return gap}} igr) $ 로, 낙관적 알고리즘의 상한과 하한 사이에 $ H^2 $ 갭이 존재함을 보여준다.
• 결정론적 MDP에서는 최적 정책이 유일하지 않은 한, 낙관적 알고리즘은 정보이론적 하한에 도달할 수 없다.
• 분석을 통해 가치함수 갭은 도달 불가능한 비최적 행동에 대해 학습을 과도하게 낙관적으로 평가할 수 있으며, 리턴 갭은 실제 학습 어려움을 더 잘 반영함을 드러낸다.