[논문 리뷰] Learning Stable Models for Prediction and Control

Giorgos Mamakoukas, Ian Abraham외 1명|arXiv (Cornell University)|2020. 05. 08.

Model Reduction and Neural Networks인용 수 9

한 줄 요약

이 논문은 데이터 기반 쿠페르만 연산자에서 안정성을 강제하는 DISKO(Data-Driven Identification of Stable Koopman Operators)를 소개한다. 이 방법은 최소 제곱 해에 가장 가까운 안정 행렬을 계산하여 데이터 기반 쿠페르만 모델의 안정성을 확보한다. 이 접근법은 장기 예측 정확도를 향상시키고, 시스템의 안정성과 일관성을 보장하며, 리아푸노프 함수를 통한 증명 가능한 안정 제어를 가능하게 한다. 실험은 진자, 큐드로터, 푸셔-슬라이더 시스템에서 수행되었다.

ABSTRACT

This paper demonstrates the benefits of imposing stability on data-driven Koopman operators. The data-driven identification of stable Koopman operators (DISKO) is implemented using an algorithm \cite{mamakoukas_stableLDS2020} that computes the nearest extit{stable} matrix solution to a least-squares reconstruction error. As a first result, we derive a formula that describes the prediction error of Koopman representations for an arbitrary number of time steps, and which shows that stability constraints can improve the predictive accuracy over long horizons. As a second result, we determine formal conditions on basis functions of Koopman operators needed to satisfy the stability properties of an underlying nonlinear system. As a third result, we derive formal conditions for constructing Lyapunov functions for nonlinear systems out of stable data-driven Koopman operators, which we use to verify stabilizing control from data. Lastly, we demonstrate the benefits of DISKO in prediction and control with simulations using a pendulum and a quadrotor and experiments with a pusher-slider system. The paper is complemented with a video: \url{https://sites.google.com/view/learning-stable-koopman}.

연구 동기 및 목표

• 학습된 쿠페르만 연산자가 원래 비선형 시스템의 안정성 특성을 유지하지 못해 예측 발산 및 제어 실패를 유발하는 심각한 문제를 해결한다.
• 식별 과정에서 안정성 제약 조건을 도입하여 쿠페르만 기반 모델의 장기 예측 정확도를 향상시킨다.
• 학습된 쿠페르만 연산자가 실제 시스템의 안정성 특성을 반영하도록 보장하기 위한 기저 함수에 대한 공식 조건을 수립한다.
• 안정된 쿠페르만 연산자를 활용하여 비선형 시스템의 리아푸노프 함수를 데이터 기반으로 구성하는 방법을 개발하고, 이를 통해 증명 가능한 안정 제어를 가능하게 한다.
• 다양한 동역학 시스템에서 시뮬레이션 및 실제 실험을 통해 안정된 쿠페르만 모델의 실용적 이점을 입증한다.

제안 방법

• 예측된 상태 전이와 실제 상태 전이 간 잔차의 프로베니우스 노름을 최소화하는 최소 제곱 최적화 문제로 쿠페르만 연산자 학습을 수식화한다.
• 최소 제곱 해에 가장 가까운 안정 행렬을 계산하기 위한 수치 알고리즘을 적용하여, 결과적으로 얻어진 쿠페르만 연산자가 점점 안정적이 되도록 보장한다.
• 임의의 시간 단계 수에 대해 예측 오차의 닫힌 형식 표현을 유도하여, 안정성 제약 조건이 장기 예측에서 오차 누적을 줄이는 데 기여함을 보여준다.
• 쿠페르만 연산자가 원래 시스템의 안정성 특성을 물려받을 수 있도록 기저 함수를 선택해야 하는 이론적 조건을 수립한다. 특히 평형점에서의 특성에 중점을 둔다.
• 쿠페르만 연산자의 스펙트럼 성질을 활용하여 안정된 쿠페르만 연산자에서 리아푸노프 함수를 구성함으로써, 안정 제어 정책의 공식적 검증을 가능하게 한다.
• DISKO 프레임워크를 시뮬레이션(진자, 큐드로터) 및 실제 실험(푸셔-슬라이더 시스템)에 구현하여 예측 정확도와 제어 성능을 검증한다.

실험 결과

연구 질문

• RQ1 데이터 기반 쿠페르만 연산자에 안정성 제약 조건을 적용할 경우, 기존의 식별 방법에 비해 장기 예측 정확도에 어떤 영향을 미치는가?
• RQ2 학습된 쿠페르만 연산자가 원래 비선형 시스템의 안정성을 유지하기 위해 기저 함수가 만족해야 할 조건은 무엇인가?
• RQ3 안정된 쿠페르만 연산자를 사용하여 비선형 시스템의 유효한 리아푸노프 함수를 구성할 수 있는가? 만약 가능하면 어떤 조건에서 가능한가?
• RQ4 안정성 강제 조건이 데이터 기반으로 안정 제어 법칙을 합성하는 데 미치는 영향은 어떠한가?
• RQ5 제안된 안정성 제약 조건은 복잡한 동역학을 가진 실제 로봇 시스템에서 어떻게 성능을 발휘하는가?

주요 결과

• 안정성 제약 조건을 적용할 경우, 오차 누적 정도를 정량화하는 유도된 공식에 따르면, 쿠페르만 표현의 예측 오차가 장기 예측에서 더 천천히 증가함을 확인하였다.
• 평형점에서 0이 아닌 값을 가지지만 다른 평형점에서는 0이 되지 않는 기저 함수(예: $g_k(0,0) \neq 0$)는 불안정한 쿠페르만 연산자를 유도할 수 있으므로, 신중한 선택이 필요하다.
• 쿠페르만 연산자는 특정 평형점에서만 비영인 기저 함수에 대응하는 행에 0이 들어가야 하며, 이는 안정성 강제 조건이 적용될 경우 부여된 정보의 중복성을 나타낸다.
• 안정된 쿠페르만 연산자를 통해 유효한 리아푸노프 함수를 구성할 수 있으며, 이를 통해 안정 제어 정책의 공식적 검증이 가능하다.
• DISKO는 진자 및 큐드로터의 장기 예측 시뮬레이션에서 기존의 쿠페르만 학습 방법보다 예측 정확도를 크게 향상시켰다.
• 실제 푸셔-슬라이더 시스템에서 성공적인 안정 제어를 달성하여, 실험 환경에서의 강건성과 실용성을 입증하였다.