[논문 리뷰] Sample Efficient Reinforcement Learning via Low-Rank Matrix Estimation

Devavrat Shah, Dogyoon Song외 2명|arXiv (Cornell University)|2020. 06. 11.

Reinforcement Learning in Robotics참고 문헌 4인용 수 12

한 줄 요약

이 논문은 연속적인 상태 및 행동 공간에서 최적의 Q함수를 학습하기 위해 저랭크 행렬 추정을 활용하는 샘플 효율적인 강화학습 알고리즘을 제안한다. Q함수를 그 스펙트럼 분해로 표현하고 저랭크 구조를 이용함으로써, 샘플 복잡도는 $\widetilde{O}(\epsilon^{-(\max(d_1,d_2)+2)})$를 달성하며, 진정한 Q함수가 저랭크일 경우 고전적인 비모수적 경계에 비해 지수적 향상을 이룬다.

ABSTRACT

We consider the question of learning $Q$-function in a sample efficient manner for reinforcement learning with continuous state and action spaces under a generative model. If $Q$-function is Lipschitz continuous, then the minimal sample complexity for estimating $ε$-optimal $Q$-function is known to scale as $Ω(\frac{1}{ε^{d_1+d_2 +2}})$ per classical non-parametric learning theory, where $d_1$ and $d_2$ denote the dimensions of the state and action spaces respectively. The $Q$-function, when viewed as a kernel, induces a Hilbert-Schmidt operator and hence possesses square-summable spectrum. This motivates us to consider a parametric class of $Q$-functions parameterized by its "rank" $r$, which contains all Lipschitz $Q$-functions as $r o \infty$. As our key contribution, we develop a simple, iterative learning algorithm that finds $ε$-optimal $Q$-function with sample complexity of $\widetilde{O}(\frac{1}{ε^{\max(d_1, d_2)+2}})$ when the optimal $Q$-function has low rank $r$ and the discounting factor $γ$ is below a certain threshold. Thus, this provides an exponential improvement in sample complexity. To enable our result, we develop a novel Matrix Estimation algorithm that faithfully estimates an unknown low-rank matrix in the $\ell_\infty$ sense even in the presence of arbitrary bounded noise, which might be of interest in its own right. Empirical results on several stochastic control tasks confirm the efficacy of our "low-rank" algorithms.

연구 동기 및 목표

• 연속적인 상태 및 행동 공간에서의 강화학습에서 차원의 극복 문제를 해결한다.
• 저차원 특징이나 표현에 대한 사전 지식이 필요 없는 데이터 효율적인 학습 방법을 개발한다.
• Q함수의 스펙트럼 성질에 기반한 보편적인 파arametric 표현을 제안하여 저랭크 구조를 활용한다.
• 진정한 Q함수가 저랭크일 경우 $\epsilon$-최적의 Q함수를 학습하는 데 있어 증명 가능한 향상된 샘플 복잡도를 달성한다.
• 유한한 노이즈 하에서 저랭크 행렬을 $\ell_\infty$-정확도로 복원할 수 있도록 보장하는 새로운 행렬 추정 알고리즘을 설계한다.

제안 방법

• 최적의 Q함수를 일반화된 특이값 분해를 통해 유도된 힐버트-슈미트 연산자로 표현한다: $Q^*(s,a) = \sum_{i=1}^\infty \sigma_i f_i(s)g_i(a)$.
• Q함수를 랭크 $r$으로 매개변수화하여, $r \to \infty$일 때 모든 리프시츠 연속 Q함수를 포함하는 파arametric 클래스를 형성한다.
• 임의의 유한한 노이즈 하에서 $\ell_\infty$-노름에서 저랭크 행렬을 추정하는 새로운 행렬 추정 알고리즘을 개발한다.
• 생성 모델에서 반복적으로 샘플링하여 샘플된 상태-행동 쌍에서의 Q값 행렬을 구성한다.
• 저랭크 행렬 추정(예: 노름 노출 또는 소프트 임계 처리를 통한)을 적용하여 기저의 Q함수 구조를 복원한다.
• 행렬 추정 단계를 강화학습 루프에 통합하여 최소한의 샘플로 Q함수 추정치를 반복적으로 개선한다.

실험 결과

연구 질문

• RQ1 Q함수가 저차원적 구조를 가질 경우 데이터 효율적인 학습을 가능하게 하는 보편적인 Q함수 표현을 개발할 수 있는가?
• RQ2 최적의 Q함수가 저랭크일 경우 $\epsilon$-최적의 Q함수를 학습하기 위해 필요한 최소한의 샘플 복잡도는 얼마인가?
• RQ3 임의의 유한한 노이즈 하에서 $\ell_\infty$-정확도로 저랭크 행렬을 복원할 수 있는 행렬 추정 알고리즘이 존재하는가?
• RQ4 연속 제어 과제에서 기존 방법과 비교해 본다면, 제안된 방법은 샘플 효율성과 오차 수렴 속도에서 어떻게 다른가?
• RQ5 할인 인자 $\gamma$가 변화함에 따라 이론적 샘플 복잡도 향상 효과가 유지되는가?

주요 결과

• 최적의 Q함수가 저랭크일 경우, 제안된 알고리즘이 $\epsilon$-최적의 Q함수를 학습하는 데 샘플 복잡도 $\widetilde{O}(\epsilon^{-(\max(d_1,d_2)+2)})$를 달성한다. 이는 할인 인자 $\gamma$가 임계값 이하일 때 성립한다.
• 이 샘플 복잡도는 일반적인 리프시츠 Q함수에 대한 고전적인 최소극한 하한 $\Omega(\epsilon^{-(d_1+d_2+2)})$에 비해 지수적 향상을 이룬다.
• Mountain Car, Double Integrator, Cart-Pole, Acrobot 과제에서의 실험 결과는 샘플 효율성에서 뚜렷한 향상을 보이며, 낮은 $\ell_\infty$ 및 평균 오차로의 수렴 속도가 빠르게 나타난다.
• 기존의 행렬 추정 기법인 Soft-Impute와 노름 노출 기법보다 샘플 복잡도와 오차 감소 측면에서 모두 성능이 뛰어나다.
• Inverted Pendulum 과제에서 $\gamma = 0.5$로 설정한 아블레이션 연구는 빠른 수렴을 확인하여 이론적 할인 인자 $\gamma$ 의존성의 타당성을 뒷받침한다.
• 제안된 새로운 행렬 추정 알고리즘은 임의의 유한한 노이즈 하에서도 $\ell_\infty$-노름에서 저랭크 행렬을 성공적으로 복원하였으며, 이는 별도의 관심사로도 유의미한 결과이다.