[논문 리뷰] Single Time-scale Actor-critic Method to Solve the Linear Quadratic Regulator with Convergence Guarantees

Mo Zhou, Jianfeng Lu|arXiv (Cornell University)|2022. 01. 31.

Frequency Control in Power Systems인용 수 4

한 줄 요약

이 논문은 선형 정규화 조절기(LQR) 문제를 해결하기 위해 단일 시간스케일 액터-크리틱 알고리즘을 제안한다. 비평가(critic)에는 최소 제곱 시간 차분(LSTD)을, 행동자(actor)에는 자연 정책 기울기(natural policy gradient)를 사용하여, ε-최적 해에 수렴하는 데 샘플 복잡도 𝒪(ε⁻¹ log(ε⁻¹)²)를 달성한다. 이는 LQR에 대해 단일 시간스케일 프레임워크에서 이러한 보증을 처음으로 확보한 것이다.

ABSTRACT

We propose a single time-scale actor-critic algorithm to solve the linear quadratic regulator (LQR) problem. A least squares temporal difference (LSTD) method is applied to the critic and a natural policy gradient method is used for the actor. We give a proof of convergence with sample complexity $\mathcal{O}(\varepsilon^{-1} \log(\varepsilon^{-1})^2)$. The method in the proof is applicable to general single time-scale bilevel optimization problem. We also numerically validate our theoretical results on the convergence.

연구 동기 및 목표

• 정확한 하위 수준 최적화가 없는 상황에서 단일 시간스케일 액터-크리틱 방법의 수렴 문제를 해결한다.
• 이중 최적화에서 흔히 발생하는 오차 전파 문제를 동시에 행동자와 비평가 업데이트를 분석하여 극복한다.
• LQR 설정에서 단일 시간스케일 액터-크리틱 알고리즘에 대해 명시적인 샘플 복잡도를 갖는 수렴 증명을 제시한다.
• 비평가 오차와 행동자 손실을 동시에 추적할 수 있는 리아푸노프 함수를 개발하여 수축과 수렴을 확립한다.
• LQR를 초월하여 일반적인 단일 시간스케일 이중 최적화 문제에 대한 이론적 프레임워크를 확장한다.

제안 방법

• 비평가의 가치 함수 추정을 위해 최소 제곱 시간 차분(LSTD)을 적용하여 명시적 기울기 계산과 샘플 기반 근사를 수행한다.
• 행동자에 대해 자연 정책 기울기 업데이트를 사용하여 비평가의 가치 추정 기반으로 정책 성능을 향상시킨다.
• 비평가 추정 오차와 행동자 손실(J(Kₜ) − J(K*))를 결합한 복합 리아푸노프 함수를 구성하여 수렴을 공동 분석한다.
• 비평가 오차 또는 행동자 손실이 크거나, 둘 다 작을 경우 리아푸노프 함수의 수축을 확립한다.
• 스펙트럼 노름과 행렬 상수(예: σ_min(D_ε), c_D, c₃)를 사용하여 업데이트 단계의 bound를 유도하고 오차 전파를 제어한다.
• 고정된 단계 크기 βₜ와 αₜ를 사용하여 리아푸노프 함수의 수축률 (1 − βₜc₄)을 확보함으로써 수렴을 이끈다.

실험 결과

연구 질문

• RQ1 정확한 두 개의 별도 시간스케일이 필요 없이 단일 시간스케일 액터-크리틱 방법이 LQR 문제에 대해 수렴을 달성할 수 있는가?
• RQ2 수렴 보장이 있는 단일 시간스케일 액터-크리틱 알고리즘으로서 LQR에 대해 달성 가능한 최적의 샘플 복잡도는 무엇인가?
• RQ3 정확한 하위 수준 최적화가 없는 상황에서 행동자와 비평가 오차 간의 상호작용을 어떻게 공동 분석하여 수렴을 보장할 수 있는가?
• RQ4 제안된 방법은 다른 단일 시간스케일 이중 최적화 문제로 일반화될 수 있는가?
• RQ5 리아푸노프 함수는 행동자-비평가 동시 업데이트 과정에서 수축과 안정성을 확보하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 단일 시간스케일 액터-크리틱 방법은 샘플 복잡도 𝒪(ε⁻¹ log(ε⁻¹)²)로 ε-최적 해에 수렴하며, 기존의 이중 시간스케일 방법보다 훨씬 우수하다.
• 비평가 오차 또는 행동자 손실이 크면 시간이 지남에 따라 리아푸노프 함수가 수축함을 증명함으로써 전역 수렴을 확보한다.
• 고위 수준 손실의 강한 볼록성이 필요하지 않아 이전 연구보다 더 넓은 문제 범주에 적용 가능하다.
• 기울기 차이의 bound와 단계 크기 제어를 통해 리아푸노프 함수의 수축을 확립하여 기댓값이 (1 − βₜc₄)의 속도로 감소함을 보장한다.
• 비평가 오차와 행동자 손실이 모두 ε/2 이하로 내려가면 리아푸노프 함수는 여전히 ε 이하에 머물르며, 이는 최적 해로의 수렴을 나타낸다.
• 각 단계에서 비평가 문제의 정확한 해를 구할 필요 없이도 수렴을 달성하여 효율적이고 실용적인 구현을 가능하게 한다.