[논문 리뷰] On the Global Convergence of Actor-Critic: A Case for Linear Quadratic Regulator with Ergodic Cost

Zhuoran Yang, Yongxin Chen외 2명|arXiv (Cornell University)|2019. 07. 14.

Reinforcement Learning in Robotics참고 문헌 65인용 수 27

한 줄 요약

이 논문은 에르고딕 비용을 가진 선형 제곱조절기(LQR)에 대해 액터-크리틱의 최초 비점점점수(global convergence) 분석을 수립하여, 전역 최적 정책과 행동가치 함수로의 선형 수렴을 증명한다. 이는 연속된 행동 공간과 확률적 근사에서 액터-크리틱의 핵심적 불안정성을 해결하기 위해, 액터와 크리틱 갱신 간의 이종적 비동기적 상호작용을 분석함으로써 달성된다.

ABSTRACT

Despite the empirical success of the actor-critic algorithm, its theoretical understanding lags behind. In a broader context, actor-critic can be viewed as an online alternating update algorithm for bilevel optimization, whose convergence is known to be fragile. To understand the instability of actor-critic, we focus on its application to linear quadratic regulators, a simple yet fundamental setting of reinforcement learning. We establish a nonasymptotic convergence analysis of actor-critic in this setting. In particular, we prove that actor-critic finds a globally optimal pair of actor (policy) and critic (action-value function) at a linear rate of convergence. Our analysis may serve as a preliminary step towards a complete theoretical understanding of bilevel optimization with nonconvex subproblems, which is NP-hard in the worst case and is often solved using heuristics.

연구 동기 및 목표

• 강화학습에서 액터-크리틱의 알고리즘적 불안정성에 대한 이론적 이해 부족을 해결하기 위해.
• 에르고딕 비용이 있는 기본적인 LQR 설정에서 액터-크리틱의 비점점점수 수렴 분석을 제공하기 위해.
• 전통적인 이중 시간 척도 점점점수 분석의 한계를 극복하여, 전역 최적 액터-크리틱 쌍으로의 선형 수렴 속도를 확립하기 위해.
• 이 설정에서 수렴하기 위해 필요한 샘플 복잡도를 규명하기 위해.
• 비볼록 하위문제와 종속된 데이터를 가진 이중수준 최적화를 위한 새로운 분석 프레임워크를 개발하기 위해.

제안 방법

• 에르고딕 비용이 있는 LQR 설정에서 액터-크리틱의 비점점점수 수렴 분석을 제안하며, 이를 이중수준 최적화 문제로 간주한다.
• 이동 목표와 편향된 기울기 문제를 다루기 위해, 액터(정책 기울기)와 크리틱(기울기 시간차) 간의 이종적 갱신을 분석한다.
• 의존적인 데이터와 에르고딕 비용 하에서 기울기 시간차 알고리즘의 하위선형 수렴을 확립하며, 이는 핵심적인 기술적 부산물이다.
• 행렬 분석과 스펙트럼 경계를 사용하여 헤시안 유사 연산자의 최소 특이값을 특성화함으로써, 역행 가능성과 안정성을 보장한다.
• 대칭 크로네cker乘법과 고유값 분해 결과를 적용하여 시스템 행렬의 조건수를 경계한다.
• 시스템 행렬의 조건수에 대한 명시적 경계를 도출하며, 이는 닫힌 루프 시스템의 스펙트럼 반경과 노이즈 분산에 기반한다.

실험 결과

연구 질문

• RQ1 에르고딕 비용이 있는 LQR 설정에서 알고리즘적 불안정성에도 불구하고 액터-크리틱이 전역 수렴을 이룰 수 있는가?
• RQ2 이 설정에서 액터-크리틱의 비점점점수 수렴 속도는 무엇이며, 선형일 수 있는가?
• RQ3 액터와 크리틱 갱신 간의 상호작용이 수렴에 어떻게 영향을 미치며, 이는 어떻게 이론적으로 제어할 수 있는가?
• RQ4 에르고딕 비용이 있는 LQR에서 최적 정책으로 수렴하기 위해 필요한 샘플 복잡도는 무엇인가?
• RQ5 의존적인 데이터와 에르고딕 비용 하에서 기울기 시간차 알고리즘이 수렴성에 대해 분석될 수 있는가?

주요 결과

• 에르고딕 비용이 있는 LQR 설정에서 액터-크리틱은 최적 정책과 행동가치 함수로 선형 속도로 전역 수렴한다.
• 기존의 이중 시간 척도 점점점수 분석과 달리, 이 분석은 비점점점수 수렴 속도와 샘플 복잡도 한계를 제공한다.
• 닫힌 루프 시스템의 스펙트럼 반경과 노이즈 분산에 대한 온건한 조건 하에서 시스템 행렬의 최소 특이값이 0으로부터 멀리 떨어져 있음을 보장한다.
• 의존적인 데이터와 에르고딕 비용 하에서 기울기 시간차 알고리즘의 하위선형 수렴 속도가 확립되며, 이는 독립적인 관심사가 되는 결과이다.
• 시스템 행렬의 조건수는 닫힌 루프 시스템의 스펙트럼 반경과 상태-행동 공분산 행렬의 최소 고유값에 의해 경계된다.
• 분석 결과, 적절한 스텝 사이즈와 노이즈 조건 하에서 연속된 행동 공간과 확률적 근사 조건 하에서도 전역 수렴이 달성 가능함을 보여준다.