[논문 리뷰] Finite-time Analysis of Approximate Policy Iteration for the Linear Quadratic Regulator

Karl Krauth, Stephen Tu외 1명|arXiv (Cornell University)|2019. 05. 30.

Advanced Bandit Algorithms Research참고 문헌 33인용 수 22

한 줄 요약

이 논문은 선형 제곱 조절기(LQR)에 대한 근사 정책 반복(PI)의 최초의 유한시간 분석을 제공하며, 정책 평가가 표본 복잡도를 지배함을 보여준다. 최소 제곱 시간 차분 학습(LSTD-Q)을 사용하여, $\varepsilon$-최적의 제어기를 달성하기 위한 표본 복잡도를 $(n+d)^3 \varepsilon^{-2} \log(1/\varepsilon)$로 설정하며, 오직 $\log(1/\varepsilon)$ 단계의 정책 향상만 필요하다.

ABSTRACT

We study the sample complexity of approximate policy iteration (PI) for the Linear Quadratic Regulator (LQR), building on a recent line of work using LQR as a testbed to understand the limits of reinforcement learning (RL) algorithms on continuous control tasks. Our analysis quantifies the tension between policy improvement and policy evaluation, and suggests that policy evaluation is the dominant factor in terms of sample complexity. Specifically, we show that to obtain a controller that is within $\varepsilon$ of the optimal LQR controller, each step of policy evaluation requires at most $(n+d)^3/\varepsilon^2$ samples, where $n$ is the dimension of the state vector and $d$ is the dimension of the input vector. On the other hand, only $\log(1/\varepsilon)$ policy improvement steps suffice, resulting in an overall sample complexity of $(n+d)^3 \varepsilon^{-2} \log(1/\varepsilon)$. We furthermore build on our analysis and construct a simple adaptive procedure based on $\varepsilon$-greedy exploration which relies on approximate PI as a sub-routine and obtains $T^{2/3}$ regret, improving upon a recent result of Abbasi-Yadkori et al.

연구 동기 및 목표

• 연속 제어 작업, 특히 LQR 설정에서 모델 기반 근사 정책 반복(PI)의 유한시간 표본 복잡도에 대한 이해 격차를 메우기 위해.
• 근사 PI에서 정책 향상과 정책 평가 간의 트레이드오���를 정량화하고, 표본 복잡도를 지배하는 요소를 특정하기 위해.
• 온라인, 적응형 LQR 설정으로 분석을 확장하고, 근사 PI를 서브루틴으로 사용하는 모델 기반 알고리즘의 위험도를 유도하기 위해.
• 모델 기반 기준선과 비교하여, $\varepsilon$-그리디 탐색 기반의 적응형 절차를 구성함으로써 온라인 LQR에서의 위험도를 향상시키기 위해.
• 브래드티크(1994)의 점근적 일致성 결과를 넘어서, LQR에서 근사 PI에 대한 최초의 비점근 수렴 속도를 확립하기 위해.

제안 방법

• 정책 평가에 최소 제곱 시간 차분 학습(LSTD-Q)을 사용한 근사 PI의 분석을 수행하며, 상태가치 함수 추정 오차에 중점을 둔다.
• 각 정책 평가 단계에 대해 $\widetilde{O}((n+d)^3 / \varepsilon^2)$의 표본 복잡도 상한을 유도하며, 여기서 $n$은 상태 차원이고 $d$는 입력 차원이다.
• 빠른 局부 수렴 덕분에 $\varepsilon$-최적의 제어기를 달성하기 위해 오직 $\mathcal{O}(\log(1/\varepsilon))$의 정책 향상 단계만 필요하다는 것을 보여준다.
• $\varepsilon$-그리디 탐색과 근사 PI를 서브루틴으로 사용하는 적응형 알고리즘을 구성하며, 에포크 기반의 노이즈 분산에 기반한 새로운 탐색 스케줄을 도입한다.
• 이산 리아푸노프 방정식 프레임워크를 활용하여 정책 평가 및 향상 단계에서의 안정성과 오차 전파를 분석한다.
• 유도 없는 최적화(DFO)를 위한 이중점 추정기와 정책 기반 강화 학습 방법을 실험적으로 비교하며, 표본 효율성에 대한 이론적 주장의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 LQR에 대한 근사 정책 반복의 유한시간 표본 복잡도는 무엇이며, 정책 평가와 정책 향상 중 어느 요소가 이를 지배하는가?
• RQ2 온라인 적응형 LQR 설정에서 모델 기반 알고리즘이 하위 최적 속도로 위험도를 달성할 수 있으며, 모델 기반 기준선과 비교해 볼 때 어떻게 성능을 내는가?
• RQ3 근사 PI는 LQR 설정에서 비점근 수렴 속도로 수렴할 수 있는가? 만약 그렇다면, $\varepsilon$-최적성 기준으로 수렴 속도는 무엇인가?
• RQ4 $\varepsilon$-그리디 탐색과 근사 PI를 기반으로 한 적응형 탐색 전략이 이전의 모델 기반 방법보다 더 나은 위험도 상한을 제공할 수 있는가?
• RQ5 모델 기반 방법의 최적 속도인 $T^{1/2}$에 비해, 모델 기반 알고리즘을 사용하여 $T^{2/3}$ 위험도 상한을 달성할 수 있는가?

주요 결과

• LQR에 대한 근사 정책 반복의 표본 복잡도는 $\mathcal{O}((n+d)^3 \varepsilon^{-2} \log(1/\varepsilon))$이며, 정책 평가가 주요 요소로 작용하며, 최대 $(n+d)^3 / \varepsilon^2$개의 표본이 각 단계에서 필요하다.
• 오직 $\log(1/\varepsilon)$의 정책 향상 단계만으로도 $\varepsilon$-최적의 제어기를 달성할 수 있으며, 이는 정책 향상 단계에서의 빠른 수렴을 시사한다.
• 논문은 온라인 LQR 설정에서 모델 기반 알고리즘을 사용하는 적응형 알고리즘에 대해 $\widetilde{O}(T^{2/3})$의 위험도 상한을 확립하였으며, Abbasi-Yadkori 등 [3]의 $\widetilde{O}(T^{2/3 + \varepsilon})$ 상한을 향상시켰다.
• 이 $T^{2/3}$ 위험도 상한은 온라인 LQR에서 어떤 모델 기반 알고리즘보다도 가장 우수한 것으로 알려져 있으나, 여전히 모델 기반 방법의 $T^{1/2}$ 최적 속도에 비해 열등하다.
• 이 분석은 LQR에서 근사 PI에 대한 최초의 비점근 수렴 보장을 제공하며, 브래드티크(1994)의 점근적 일치성 결과를 유한시간 오차 한계로 확장한다.
• 정책 기반 강화 학습, DFO, LSPI를 비교한 실험을 통해 결과를 검증하였으며, $10^6$개 타임스텝 이후 비용을 최소화하기 위해 그리드 서치를 통해 하이퍼파rameter를 최적화하였다.