[논문 리뷰] A Convex Approach to Data-driven Optimal Control via Perron-Frobenius and Koopman Operators

Bowen Huang, Umesh Vaidya|arXiv (Cornell University)|2020. 10. 05.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 비선형 시스템에 대한 페론-프로베니우스(Perron-Frobenius, P-F) 및 쿠프만(Koopman) 연산자를 사용한 볼록이고 데이터 기반 최적 제어 프레임워크를 제안한다. 밀도 함수와 P-F 연산자 간의 이중성에 기반하여, 무한 시간 최적 제어 문제를 무한차원 볼록 최적화 문제로 재구성하며, 이를 데이터 기반 쿠프만 연산자 학습을 통해 근사함으로써, 시스템 모델이 알려져 있지 않은 상황에서 안정적이고 전역 최적의 제어를 가능하게 한다.

ABSTRACT

The paper is about the data-driven computation of optimal control for a class of control affine deterministic nonlinear systems. We assume that the control dynamical system model is not available, and the only information about the system dynamics is available in the form of time-series data. We provide a convex formulation for the optimal control problem of the nonlinear system. The convex formulation relies on the duality result in the dynamical system's stability theory involving density function and Perron-Frobenius operator. We formulate the optimal control problem as an infinite-dimensional convex optimization program. The finite-dimensional approximation of the optimization problem relies on the recent advances made in the Koopman operator's data-driven computation, which is dual to the Perron-Frobenius operator. Simulation results are presented to demonstrate the application of the developed framework.

연구 동기 및 목표

• 시스템 모델이 알려져 있지 않은 비선형 시스템의 최적 제어 문제를 해결한다. 이때 시스템 모델 대신 시계열 데이터에 의존한다.
• 리아프노프 함수 접근법의 이중 공간인 밀도 함수의 공간에서 최적 제어 문제를 볼록 형식으로 재구성하여 효율적인 계산을 가능하게 한다.
• 제안된 볼록 최적화 프레임워크를 통해 닫힌 루프 시스템의 거의 모든 곳에서의 안정성을 보장한다.
• 최근의 쿠프만 기반 근사 기법을 활용하여 P-F 및 쿠프만 연산자 간의 이중성을 이용해 데이터 기반 계산을 실현한다.
• 스토케스틱 설정으로 자연스럽게 확장 가능하고, 물리적 해석이 가능한 유한차원 근사를 지원하는 체계적인 프레임워크를 제공한다.

제안 방법

• 리아프노프 함수 접근법의 이중 공간인 밀도 함수의 공간에서 최적 제어 문제를 무한차원 볼록 최적화 프로그램으로 재구성한다.
• 밀도의 진화를 위한 페론-프로베니우스 연산자와 관측 가능 함수를 위한 쿠프만 연산자 간의 이중성을 활용하여 비선형 동역학을 선형이고 무한차원 공간으로 올린다.
• 일단의 시계열 데이터로부터 P-F 및 쿠프만 연산자의 유한차원 근사를 계산하기 위해 자연스러운 구조적 동적 모드 분해(NSDMD) 알고리즘을 적용한다.
• 입력이 0인 경우와 단위 스텝 입력인 경우의 시계열 데이터를 사용하여 연산자 근사를 학습함으로써, 양성 및 마르코프 성질을 유지한다.
• 원점 주변의 영역에서 국소 선형 제어기(LQR 또는 리아프노프 기반 제어기 등)와 전역 데이터 기반 제어기를 혼합하는 제어기를 구성한다.
• 함수 근사를 위해 가우시안 라디얼 기저 함수(RBFs)를 사용하여 표준 솔버(CVX 등)를 활용해 유한차원 볼록 프로그램을 해결한다.

실험 결과

연구 질문

• RQ1 시스템 모델이 알려져 있지 않은 비선형 시스템의 최적 제어 문제를 볼록 최적화 문제로 재구성할 수 있는가?
• RQ2 페론-프로베니우스 연산자와 쿠프만 연산자 간의 이중성을 어떻게 활용하여 데이터 기반 최적 제어를 실현할 수 있는가?
• RQ3 밀도 함수와 P-F 연산자에 의한 밀도 함수의 진화가 안정성과 최적성 보장에 어떻게 기여하는가?
• RQ4 제안된 프레임워크는 알려진 시스템 모델이 없이도 전역 최적성과 안정성을 달성할 수 있는가?
• RQ5 양성 및 마르코프 성질을 유지하면서 시계열 데이터로부터 P-F 및 쿠프만 연산자의 유한차원 근사를 어떻게 계산할 수 있는가?

주요 결과

• 제안된 이중 밀도 공간 내 볼록 형식화는 닫힌 루프 시스템의 거의 모든 곳에서의 안정성을 보장하며, 표준적인 거의 모든 안정성보다 더 강한 조건이다.
• 스칼라 비선형 시스템 $ \dot{x} = 0.5x^3 + u $의 경우, P-F 연산자 근사를 기반으로 한 데이터 기반 제어기가 분석적 최적 제어와 거의 정확히 일치하며, 상태 궤적과 비용 함수 값이 거의 동일하다.
• 더프링 온도계(Duffing oscillator, $ \dot{x}_1 = x_2, \dot{x}_2 = -x_1 - x_1^3 - 0.5x_2 + u $)의 경우, 225개의 RBF와 50,000개의 초기 조건을 사용하여 원점을 안정화시키는데 성공했으며, 시뮬레이션 시간은 5분 이내였다.
• 3D 반데르폴 진동자(Van der Pol oscillator)의 경우, 512개의 RBF와 50,000개의 초기 조건을 사용하여 시스템을 안정화시켰으며, 이는 고차원 시스템으로의 확장 가능성을 보여준다.
• NSDMD 알고리즘은 P-F 및 쿠프만 연산자의 유한차원 근사 과정에서 양성 및 마르코프 성질을 성공적으로 유지하여 물리적 일관성을 확보했다.
• 연산자 근사 및 최적 제어 합성 포함 전체 계산 파이프라인은 MATLAB과 CVX를 사용하여 각 예제당 5분 이내에 완료되었으며, 이는 계산의 실현 가능성을 시사한다.