[논문 리뷰] On Few Shot Learning of Dynamical Systems: A Koopman Operator Theoretic Approach

Subhrajit Sinha, Umesh Vaidya외 1명|arXiv (Cornell University)|2021. 03. 07.

Model Reduction and Neural Networks참고 문헌 42인용 수 6

한 줄 요약

이 논문은 인공 데이터 증강과 강건 최적화를 활용하여 소수의 샘플만 있는 동역학계에 대해 강건한 쿠프만 연산자 학습 프레임워크를 제안한다. 다양한 미분 가능하고 노이즈에 강건한 합성 점을 사용해 희박한 시계열 데이터를 보강함으로써, 쿠프만 연산자 정밀도를 향상시킨다—표준 EDMD/DMD 대비 선형 진동자, 비선형 시스템, 버거 방정식과 같은 PDE에서 예측 오차가 최대 100배까지 감소하는 것으로 입증되었다.

ABSTRACT

In this paper, we propose a novel algorithm for learning the Koopman operator of a dynamical system from a extit{small} amount of training data. In many applications of data-driven modeling, e.g. biological network modeling, cybersecurity, modeling the Internet of Things, or smart grid monitoring, it is impossible to obtain regularly sampled time-series data with a sufficiently high sampling frequency. In such situations the existing Dynamic Mode Decomposition (DMD) or Extended Dynamic Mode Decomposition (EDMD) algorithms for Koopman operator computation often leads to a low fidelity approximate Koopman operator. To this end, this paper proposes an algorithm which can compute the Koopman operator efficiently when the training data-set is sparsely sampled across time. In particular, the proposed algorithm enriches the small training data-set by appending artificial data points, which are treated as noisy observations. The larger, albeit noisy data-set is then used to compute the Koopman operator, using techniques from Robust Optimization. The efficacy of the proposed algorithm is also demonstrated on three different dynamical systems, namely a linear network of oscillators, a nonlinear system and a dynamical system governed by a Partial Differential Equation (PDE).

연구 동기 및 목표

• 생물학적 네트워크, IoT, 스마트 그리드 등 실제 응용에서 흔히 발생하는 희박하고 비정규적으로 샘플링된 시계열 데이터로부터 쿠프만 연산자를 학습하는 데 도전한다.
• 학습 데이터가 극히 적을 경우 쿠프만 연산자 계산에서 최소제곱 문제의 불안정성과 불량 조건 문제를 극복한다.
• 희박한 데이터 세트에 대해 다양한 기반의 노이즈에 강건한 인공 데이터 포인트를 보강함으로써 쿠프만 기반 모델의 예측 정밀도를 저데이터 환경에서 향상시킨다.
• 선형 진동자, 비선형 시스템, 버거 방정식과 같은 PDE를 포함한 다양한 동역학계에서 본 방법의 효과성을 입증한다.
• 데이터 부족 상황에서도 안정성과 정확도를 유지하는 표준 동적 모드 분해(DMD) 및 확장 동적 모드 분해(EDMD)의 강건한 대안을 확립한다.

제안 방법

• 학습 데이터에 대해 시스템의 미분 가능 맵핑에서 유도된 인공 데이터 포인트를 추가하여 희박한 데이터를 보강하고, 이를 노이즈가 있는 관측치로 간주한다.
• 증강된 데이터 세트에서 노이즈에 대한 민감도를 최소화하기 위해 쿠프만 연산자 학습을 강건 최적화 문제로 재구성한다.
• 강건 최적화 기법을 사용해 증가된 노이즈가 포함된 데이터 세트에서 안정적이고 낮은 오차를 가진 쿠프만 연산자 근사치를 계산한다.
• 상승된 공간에서 쿠프만 역학의 선형성 구조를 활용하여, 증강된 데이터에 대해 확장 동적 모드 분석(EDMD)을 통해 쿠프만 연산자를 계산한다.
• 예측 오차 및 고유값 안정성과 같은 지표를 사용해 표준 EDMD 및 DMD와 결과를 비교한다.
• 유한 차분 방법을 사용해 PDE(예: 버거 방정식)를 이산화하고, 쿠프만 학습을 위한 상태 벡터를 추출한다.

실험 결과

연구 질문

• RQ1 희박하고 비정규적으로 샘플링된 데이터에서 쿠프만 연산자 학습이 강건하고 정확하게 수행될 수 있는가?
• RQ2 미분 가능한 시스템 맵핑을 통한 인공 데이터 증강이 저데이터 환경에서 쿠프만 연산자 근사치를 어떻게 향상시키는가?
• RQ3 강건 최적화 기반 쿠프만 학습이 예측 정확도와 고유값 안정성 측면에서 표준 DMD 및 EDMD를 능가하는가?
• RQ4 제안된 방법은 학습 데이터 크기의 변동에 얼마나 민감한가? 이와 관련해 표준 DMD와 비교했을 때의 성능은 어떠한가?
• RQ5 제안된 프레임워크는 비선형 ODE 및 버거 방정식과 같은 복잡한 시스템에 효과적으로 적용될 수 있는가?

주요 결과

• 강건한 EDMD는 비선형 진동자에서 반경 성분(r)과 각도 성분(θ)의 예측 오차를 표준 EDMD 대비 최대 100배까지 감소시켰다.
• 버거 방정식 PDE 사례에서 제안된 방법은 35개의 향후 시간 단계 동안 표준 DMD보다 몇 개의 주요 오차 차수만큼 더 작은 평균 제곱 예측 오차를 달성했다.
• 제안된 방법은 표준 DMD가 더 높고 불안정한 오차 수준을 보이는 것에 비해, 평균 제곱 오차가 약 10⁻² 수준으로 훨씬 낮게 나타났다.
• 모든 테스트된 학습 데이터 크기(5~35개 시간 단계)에서 제안된 방법의 예측 오차는 일관되게 낮았으며, 특히 가장 작은 데이터 환경에서 가장 큰 성과를 보였다.
• 제안된 방법은 정상적인 EDMD가 희박한 데이터에서 자주 생성하는 불안정한 고유값을 피하는 등 고유값 안정성이 향상되었다.
• 표준 DMD는 학습 크기 변화에 대해 거의 민감하지 않았지만, 제안된 방법은 더 민감한 편이었으며, 이는 데이터 품질에 의존하고 데이터 증강의 이점이 있음을 시사한다.