[논문 리뷰] A Convex Optimization Approach to Learning Koopman Operators

Mario Sznaier|arXiv (Cornell University)|2021. 02. 07.

Model Reduction and Neural Networks참고 문헌 14인용 수 4

한 줄 요약

이 논문은 랭크 제약을 가진 준정방행렬 프로그래밍(SDP)으로 문제를 공식화함으로써 데이터로부터 쿠퍼만 연산자를 학습하기 위한 볼록 최적화 프레임워크를 제안한다. 이는 볼록 SDP로 완화되어 해석 가능해지며, 사전에 임베딩 차원이나 역학의 순서를 지정할 필요 없이 쿠퍼만 연산자, 상태 공간의 비선형 임베딩, 그리고 관련 힐버트 공간의 관측량을 함께 학습한다. 이로 인해 비선형 동역학계에 대해 증명 가능하게 최적이고 저차원의 모델을 확보할 수 있다.

ABSTRACT

Koopman operators provide tractable means of learning linear approximations of non-linear dynamics. Many approaches have been proposed to find these operators, typically based upon approximations using an a-priori fixed class of models. However, choosing appropriate models and bounding the approximation error is far from trivial. Motivated by these difficulties, in this paper we propose an optimization based approach to learning Koopman operators from data. Our results show that the Koopman operator, the associated Hilbert space of observables and a suitable dictionary can be obtained by solving two rank-constrained semi-definite programs (SDP). While in principle these problems are NP-hard, the use of standard relaxations of rank leads to convex SDPs. Further, these SDPs exhibit chordal sparsity leading to algorithms that scale linearly with the number of data points.

연구 동기 및 목표

• 쿠퍼만 연산자 학습에서 적절한 사전자료를 선택하고 근사 오차를 제한하는 데 도전하는 것. 이는 비선형 시스템 식별에 있어 핵심적인 과제이다.
• 시간 시리즈 데이터로부터 쿠퍼만 연산자, 관측량의 힐버트 공간, 그리고 상태 공간의 비선형 임베딩을 함께 학습하는 데이터 기반 방법을 개발하는 것.
• 기존 방법에서 흔히 히ュ리스틱으로 선택되는 임베딩 차원이나 역학의 순서를 사전에 지정할 필요를 제거하는 것.
• 해결책에 대한 인증 메커니즘을 제공하여, 볼록 완화 하에 얻어진 쿠퍼만 연산자와 임베딩가 최적임을 보장하는 것.
• 기존의 한켈 행렬 분해나 고정 사전 자료 기반 EDMD와 비교해 더 단순하고 저차원의 모델을 발견할 수 있도록 하는 것.

제안 방법

• 쿠퍼만 연산자 학습 문제를 랭크 제약을 가진 준정방행렬 프로그래밍(SDP)으로 공식화하며, 이 랭크 제약은 시스템의 저차원 역학을 표현한다.
• 표준 핵심 노름 완화를 사용하여 랭크 제약가 있는 SDP를 볼록 SDP로 완화함으로써 표준 SDP 솔버를 통해 해석 가능한 해를 도출한다.
• 지연 좌표와 커널 기반 비선형 임베딩을 사용하여 원래 상태 공간을 쿠퍼만 연산자가 선형으로 작용하는 고차원 공간으로 매핑한다.
• 두 단계의 순차적 SDP를 풀며, 첫 번째 단계는 루이벤저 행렬 공식화를 통해 임베딩과 쿠퍼만 연산자를 학습하고, 두 번째 단계는 잠재 공간에서 원래 상태 공간으로의 역매핑을 학습한다.
• SDP의 스트럭처에서 발생하는 체로드 스파arsity를 활용하여 ADMM 기반 솔버를 통해 데이터 포인트 수에 대해 선형 복잡도로 확장 가능한 해를 도출한다.
• 쿠퍼만 연산자와 임베딩을 학습한 후에는 잠재 공간에서 선형 모델을 사용해 동역학을 예측하며, 각 단계당 O(r) 연산만 필요하다. 여기서 r은 지연 수준이다.

실험 결과

연구 질문

• RQ1 쿠퍼만 연산자 학습을 볼록 최적화 문제로 공식화할 수 있는가? 이 경우, 차원의 사전 가정 없이 연산자, 관측량의 힐버트 공간, 비선형 임베딩을 함께 식별할 수 있는가?
• RQ2 랭크 제약가 있는 SDP 공식화를 어떻게 볼록 문제로 완화할 수 있는가? 이 과정에서 최적성과 해의 인증 가능성을 유지할 수 있는가?
• RQ3 제안된 방법은 기존의 EDMD나 한켈 기반 분해 방법보다 더 저차원의 모델을 발견할 수 있는가? 특히 혼돈 시스템에 대해서는 어떻게 되는가?
• RQ4 비선형적이고 혼돈적인 시스템에서, 이 방법은 훈련 데이터에 포함되지 않은 초기 조건과 장기 예측에 얼마나 잘 일반화되는가?
• RQ5 커널 기반 임베딩과 체로드 스파arsity를 사용하면, 대규모 데이터셋에 대해 SDP를 선형 시간 복잡도로 해석할 수 있는가?

주요 결과

• 제안된 방법은 두근징 진동자와 4차원 비선형 시스템과 같은 혼돈 시스템에 대해 성공적으로 쿠퍼만 연산자를 학습하였으며, 훈련 데이터와 새로운 데이터 모두에서 정확한 1단계 예측을 달성하였다.
• 두근징 진동자에 대해 3차원 임베딩을 얻었고, 2차 모델을 사용해 100단계 예측에 높은 정확도로 궤적을 예측하였다.
• 포식자-피식자 모델에서는 120개 포인트의 궤적에서 8차 모델을 추정하였으며, 훈련 세트에 포함되지 않은 초기 조건에서부터 80단계 예측을 매우 낮은 오차로 수행하였다.
• 초기 조건에 매우 민감한 4차원 혼돈 시스템에 대해서는 3차원 임베딩을 생성하였고, 100단계 예측을 합리적인 정확도로 수행하여 혼돈에 대한 강건성을 입증하였다.
• 기존의 한켈 행렬 분해보다 더 저차원의 동역학을 발견하여, 더 단순한 모델과 더 나은 일반화 가능성의 잠재력을 보였다.
• SDP의 구조는 체로드 스파arsity를 보이며, ADMM 기반 솔버를 통해 데이터 포인트 수에 대해 선형 복잡도로 확장 가능한 해를 도출할 수 있어, 더 큰 데이터셋에 적용 가능한 방법임을 입증하였다.