[논문 리뷰] Logarithmic Regret for Reinforcement Learning with Linear Function Approximation

Jiafan He, Dongruo Zhou외 1명|arXiv (Cornell University)|2020. 11. 23.

Advanced Bandit Algorithms Research참고 문헌 41인용 수 21

한 줄 요약

이 논문은 양방향 선형 MDP 가정—선형 MDP 및 선형 혼합 MDP—하에 선형 함수 근사와 함께 강화 학습에서 최초로 로그 규모의 손실 한계를 확립한다. 이는 정규화된 최소 초과성 갭을 활용하여 달성된다. 선형 MDP 가정 하에 LSVI-UCB는 $\widetilde{O}(d^3H^5/\text{gap}_{\text{min}} \cdot \log T)$의 손실 한계를 달성하며, 선형 혼합 MDP 가정 하에 UCRL-VTR는 $\widetilde{O}(d^2H^5/\text{gap}_{\text{min}} \cdot \log^3 T)$의 손실 한계를 달성한다. 이는 이전의 $\sqrt{T}$ 유형의 한계에 비해 크게 향상된 결과이다.

ABSTRACT

Reinforcement learning (RL) with linear function approximation has received increasing attention recently. However, existing work has focused on obtaining $\sqrt{T}$-type regret bound, where $T$ is the number of interactions with the MDP. In this paper, we show that logarithmic regret is attainable under two recently proposed linear MDP assumptions provided that there exists a positive sub-optimality gap for the optimal action-value function. More specifically, under the linear MDP assumption (Jin et al. 2019), the LSVI-UCB algorithm can achieve $ ilde{O}(d^{3}H^5/ ext{gap}_{ ext{min}}\cdot \log(T))$ regret; and under the linear mixture MDP assumption (Ayoub et al. 2020), the UCRL-VTR algorithm can achieve $ ilde{O}(d^{2}H^5/ ext{gap}_{ ext{min}}\cdot \log^3(T))$ regret, where $d$ is the dimension of feature mapping, $H$ is the length of episode, $ ext{gap}_{ ext{min}}$ is the minimal sub-optimality gap, and $ ilde O$ hides all logarithmic terms except $\log(T)$. To the best of our knowledge, these are the first logarithmic regret bounds for RL with linear function approximation. We also establish gap-dependent lower bounds for the two linear MDP models.

연구 동기 및 목표

• 표준 $\sqrt{T}$ 손실 한계와 선형 함수 근사와 함께 더 엄밀한 인스턴스 의존 한계 사이의 격차를 메우기 위한 것이다.
• 양방향 선형 MDP 가정 하에 양호한 최소 초과성 갭이 존재할 때 로그 규모의 손실 한계가 달성 가능한지 조사하기 위한 것이다.
• 문제 의존적 구조를 고려하여 선형 MDP 및 선형 혼합 MDP 환경에서 손실 한계의 상한과 하한을 동시에 확립하기 위한 것이다.
• 모델 기반 및 모델리스 강화 학습 알고리즘에 대해 선형 함수 근사와 함께 최초로 갭 의존적 손실 한계 분석을 제공하기 위한 것이다.

제안 방법

• 선형 함수 근사와 함께 강화 학습에 대한 갭 의존적 분석 프레임워크를 제안하며, 최소 초과성 갭 $\text{gap}_{\text{min}}$ 에 중점을 둔다.
• 선형 MDP 가정 하에 LSVI-UCB 알고리즘을 적용하여 $\widetilde{O}(d^3H^5/\text{gap}_{\text{min}} \cdot \log T)$의 손실 한계를 유도한다.
• 선형 혼합 MDP 가정 하에 UCRL-VTR 알고리즘을 적용하여 $\widetilde{O}(d^2H^5/\text{gap}_{\text{min}} \cdot \log^3 T)$의 손실 한계를 달성한다.
• 값 함수 추정에서 마링게일 차수를 제어하기 위해 Azuma–Hoeffding 및 Freedman과 같은 농도 불등식을 활용한다.
• 손실의 누적 오차를 각 에피소드 동안의 초과성 갭 간격에 기반한 재귀적 분해를 통해 제한한다.
• 선형 MDP 및 선형 혼합 MDP 모델에 대해 $\Omega(dH/\text{gap}_{\text{min}})$의 하한을 유도하여 상한의 날카로움을 보여준다.

실험 결과

연구 질문

• RQ1 선형 MDP 가정 하에 선형 함수 근사와 함께 강화 학습에서 로그 규모의 손실 한계를 달성할 수 있는가?
• RQ2 더 일반적인 선형 혼합 MDP 가정 하에 동일한 로그 규모의 손실 한계 스케일링을 달성할 수 있는가?
• RQ3 최소 초과성 갭 $\text{gap}_{\text{min}}$ 이 선형 함수 근사 강화 학습에서 손실에 어떤 영향을 미치는가?
• RQ4 선형 MDP 및 선형 혼합 MDP 환경에서 손실의 인스턴스 의존 하한은 무엇인가?
• RQ5 제안된 한계는 $T$ 에 대한 의존성 측면에서 기존 $\sqrt{T}$ 유형의 손실 한계와 비교해 어떻게 다른가?

주요 결과

• 선형 MDP 가정 하에 LSVI-UCB는 $\widetilde{O}(d^3H^5/\text{gap}_{\text{min}} \cdot \log T)$의 손실 한계를 달성하며, 이는 모델리스 강화 학습에서 선형 함수 근사에 대해 최초로 로그 규모의 손실 한계를 확립한 것이다.
• 선형 혼합 MDP 가정 하에 UCRL-VTR는 $\widetilde{O}(d^2H^5/\text{gap}_{\text{min}} \cdot \log^3 T)$의 손실 한계를 달성하며, 이는 모델기반 강화 학습에서 선형 함수 근사에 대해 최초의 결과이다.
• 논문은 선형 MDP 및 선형 혼합 MDP 모델에 대해 $\Omega(dH/\text{gap}_{\text{min}})$의 갭 의존 하한을 확립하여 상한이 거의 날카로움을 보여준다.
• 결과적으로, 최소 초과성 갭이 0에서 벗어나면 손실의 $T$ 에 대한 의존성이 $\sqrt{T}$ 에서 $\log T$ 로 감소할 수 있음을 입증한다.
• 분석 결과, 차원 $d$, 수평선 $H$, 최소 갭 $\text{gap}_{\text{min}}$ 이 손실에 영향을 미치는 주요 요소이며, $\text{gap}_{\text{min}}$ 이 로그 스케일링을 가능하게 하는 중심적인 역할을 한다.
• 유도된 한계는 인스턴스 의존적이며, 최적과 비최적 행동 사이의 갭이 큰 문제에서는 이전의 $\sqrt{T}$ 유형의 한계보다 훨씬 더 엄밀하다.