[논문 리뷰] Stabilizing Dynamical Systems via Policy Gradient Methods

Juan C. Perdomo, Jack Umenberger외 1명|arXiv (Cornell University)|2021. 10. 13.

Reinforcement Learning in Robotics참고 문헌 41인용 수 13

한 줄 요약

이 논문은 모델에 의존하지 않는 정책 그래디언트 방법인 할인 분석을 소개한다. 이 방법은 무한 시간 LQR 문제에서 할인 인자를 점차 증가시켜 미지의 선형 및 부드러운 비선형 동적 시스템을 안정화시킨다. 이 방법은 다항 수준의 샘플 복잡도로 안정화된 제어기를 증명 가능하게 복원하며, 사전에 안정화된 정책이 필요로 하지 않으며, 선형 및 국소 선형화된 비선형 시스템 모두에서 거의 최적의 성능을 달성한다.

ABSTRACT

Stabilizing an unknown control system is one of the most fundamental problems in control systems engineering. In this paper, we provide a simple, model-free algorithm for stabilizing fully observed dynamical systems. While model-free methods have become increasingly popular in practice due to their simplicity and flexibility, stabilization via direct policy search has received surprisingly little attention. Our algorithm proceeds by solving a series of discounted LQR problems, where the discount factor is gradually increased. We prove that this method efficiently recovers a stabilizing controller for linear systems, and for smooth, nonlinear systems within a neighborhood of their equilibria. Our approach overcomes a significant limitation of prior work, namely the need for a pre-given stabilizing control policy. We empirically evaluate the effectiveness of our approach on common control benchmarks.

연구 동기 및 목표

• 모델에 의존하지 않고 사전에 안정화된 제어기가 필요로 하지 않는 미지의 동적 시스템을 안정화하는 데 있어 근본적인 과제를 해결하기 위해.
• 선형 및 부드러운 비선형 시스템을 정책 그래디언트 최적화를 통해 모델에 의존하지 않고 샘플 효율적으로 안정화하는 방법을 개발하기 위해.
• 이전 연구에서 안정화된 초기 제어기나 안정된 동역학에 접근 가능하다는 가정을 초월하기 위해.
• 단지 시뮬레이터 액세스만을 사용하여 비선형 시스템의 평형점 주변에서 안정화에 대한 이론적 보장을 제공하기 위해.
• 기본 제어 벤치마크에서 메서드를 실증적으로 검증하여 H∞ 합성과 같은 기존의 강건 제어 방법과의 경쟁력을 보여주기 위해.

제안 방법

• 이 방법은 할인 인자 γ를 점차 증가시키는 일련의 할인된 무한 시간 LQR 문제를 사용한다. γ는 작은 값에서 시작하여 1에 가까워지게 한다.
• 각 단계에서 정책 그래디언트 최적화를 적용하여 할인된 LQR 비용을 최소화하며, 시뮬레이터에서의 유한 시간 롤아웃을 사용해 기울기와 비용을 추정한다.
• 알고리즘은 γ를 점진적으로 증가시키는 방식으로 '냉각' 과정을 수행함으로써, 무할인 LQR 문제에 대한 안정화된 제어기로 수렴하게 한다.
• 비선형 시스템의 경우, 시스템을 평형점 주변에서 선형화하고 자코비안에 대해 동일한 절차를 적용하여 국소 지수 안정화를 보장한다.
• 표준 정책 그래디언트 업데이트에 기반하며, 기울기와 비용 평가가 근사적으로 이루어지며, 이는 시뮬레이터에서 궤적 샘플링을 통해 실현된다.
• 이론적 분석에 따르면, 필요한 기울기 및 비용 평가의 수는 문제 매개변수와 역_tolerance ε에 대해 다항적으로 증가한다.

실험 결과

연구 질문

• RQ1 모델에 의존하지 않는 정책 그래디언트 방법이 사전에 안정화된 제어기가 필요 없이 미지의 선형 동적 시스템을 안정화시킬 수 있는가?
• RQ2 제안된 할인 분석 절차가 비선형 시스템의 평형점 주변에서 안정화된 제어기를 도출할 수 있는가?
• RQ3 알고리즘의 샘플 복잡도는 시뮬레이터 쿼리 수와 오차 허용 오차에 대해 어떻게 표현되는가?
• RQ4 정책 그래디언트 제어기의 성능은 선형화된 시스템의 최적 LQR 제어기와 비교하여 어떻게 되는가?
• RQ5 이 메서드는 벤치마크 비선형 시스템에서 H∞ 합성과 같은 기존의 강건 제어 기법과 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 할인 분석 방법은 다항 수준의 샘플 복잡도로 선형 시스템에 대해 안정화된 상태 피드백 제어기를 증명 가능하게 복원하며, 이는 무할인 LQR 문제에 대해 거의 최적의 성능을 보인다.
• 알고리즘은 문제 매개변수와 허용 오차 ε에 대해 다항 수준의 기울기 및 비용 평가 수만을 요구하므로 효율적인 구현이 보장된다.
• 부드러운 비선형 시스템의 경우, 이 방법은 평형점 주변에서 지수 안정화를 보장하는 제어기를 생성한다.
• 비선형 카트폴 환경에서의 실증 결과는 이 제어기가 이론적 보장이 局소적임에도 불구하고 H∞ 합성과 경쟁 가능한 성능을 보임을 보여준다.
• 정책 그래디언트 해와 최적 LQR 제어기 사이의 오차는 초기 조건 구역의 반경이 커질수록 증가함을 보여주며, 초기 상태 범위에 민감함을 시사한다.
• 이 방법은 안정화된 정책에 대한 사전 지식 없이도 시스템을 안정화시키며, Fazel 등(2018)이 제기한 열린 문제를 해결한다.