[논문 리뷰] Learning Koopman Representations for Hybrid Systems

Craig Bakker, Arnab Bhattacharya외 3명|arXiv (Cornell University)|2020. 06. 22.

Model Reduction and Neural Networks참고 문헌 10인용 수 5

한 줄 요약

이 논문은 하이브리드 동역계에 대한 쿠프만 연산자 표현을 세 가지 제안하며, 올림프터리프트된 관측 공간에서 선형 동역학을 데이터 기반으로 학습할 수 있도록 한다. 이중 상태 변수를 전사 사상으로 제거함으로써 계산 효율성을 향상시키고, 딥 러닝 기반의 구현이 가능하게 하여 장기간에 걸친 하이브리드 시스템의 궤적을 정확히 포착한다. 변환된 형식은 학습 과제가 있음에도 불구하고 장기적 안정성이 뛰어나다.

ABSTRACT

The Koopman operator lifts nonlinear dynamical systems into a functional space of observables, where the dynamics are linear. In this paper, we provide three different Koopman representations for hybrid systems. The first is specific to switched systems, and the second and third preserve the original hybrid dynamics while eliminating the discrete state variables; the second approach is straightforward, and we provide conditions under which the transformation associated with the third holds. Eliminating discrete state variables provides computational benefits when using data-driven methods to learn the Koopman operator and its observables. Following this, we use deep learning to implement each representation on two test cases, discuss the challenges associated with those implementations, and propose areas of future work.

연구 동기 및 목표

• 기존의 동역학을 유지하면서 이중 상태 변수를 제거하여 계산적 이점을 얻을 수 있는 하이브리드 시스템에 대한 쿠프만 연산자 표현을 개발한다.
• 딥 러닝을 활용한 데이터 기반 학습을 통해 하이브리드 시스템의 쿠프만 연산자를 학습할 수 있도록 하며, 학습 및 안정성 문제를 극복한다.
• 시험 케이스에서 정확도, 수렴성, 확장성 측면에서 서로 다른 쿠프만 형식—스위치형, 일반 하이브리드형, 변환형—의 성능을 비교한다.
• 특히 이중 전이에서의 오차 전파와 학습 불안정성과 같은 하이브리드 쿠프만 표현 학습의 주요 과제를 규명한다.
• 사용자 정의 손실 함수 및 다단계 학습과 같은未래 개선 방안을 제안하여 이중 상태 전이에서의 정확도를 향상시킨다.

제안 방법

• 이중 시스템에 특화된 스위치형 쿠프만 형식을 제안하며, 이는 이산 상태에 따라 인덱싱된 유한한 쿠프만 행렬 집합을 사용한다.
• 이산 상태를 연속 변수로의 전사 사상에 의해 변환함으로써 이중 상태를 동역학에서 제거하는 변환된 쿠프만 표현을 도입한다.
• 원래의 하이브리드 구조를 유지하면서도 이산 변수를 연속 관측 공간에 통합하는 일반 하이브리드 쿠프만 형식을 개발한다.
• 시간 시리즈 데이터로부터 쿠프만 관측치와 쿠프만 행렬을 근사하기 위해 딥 뉴럴 네트워크를 사용하며, 상태 포함 관측치를 통해 유일한 상태 복원이 보장된다.
• 선형 회귀 유사 형식을 적용한다: $\psi_x(x_{k+1}) = K_x \psi_x(x_k) + K_{xu} \psi_{xu}(x_k, u_k)$, 여기서 $K_x$ 및 $K_{xu}$ 는 지도 학습을 통해 학습된다.
• 소규모 배치 학습 및 사전 학습 전략을 적용하여 수렴성과 안정성을 향상시키며, 특히 대규모 데이터셋과 복잡한 형식에 유리하다.

실험 결과

연구 질문

• RQ1 혼합 연속 및 이산 동역학을 갖는 하이브리드 시스템에 대해 쿠프만 연산자 표현을 어떻게 적응시킬 수 있는가?
• RQ2 쿠프만 기반의 하이브리드 시스템 모델링에서 이중 상태 변수를 제거함으로써 얻는 계산적 및 학습적 이점은 무엇인가?
• RQ3 스위치형, 일반 하이브리드형, 변환형 등 서로 다른 쿠프만 형식 간의 학습 안정성, 정확도, 확장성 측면에서의 비교는 어떻게 이루어지는가?
• RQ4 특히 이중 전이에서 오차 전파를 최소화하기 위해 가장 효과적인 학습 전략은 무엇인가?
• RQ5 사용자 정의 손실 함수나 다단계 학습을 통해 장기 궤적 정확도를 향상시킬 수 있는가, 특히 고차원 이중 상태를 갖는 시스템에서?

주요 결과

• 스위치형 쿠프만 형식은 학습이 가장 쉬웠고 정확도가 가장 높았으며, 시험 궤적에서 평균 오차 0.01을 달성했다.
• 변환된 형식은 빠르게 학습되었지만 더 높은 오차(0.008)에 머물렀고, 장기적 안정성이 뛰어나 40–50단계 동안 정확도를 유지하는 데 성공했으며, 곱셈 궤적의 20–30단계 대비 우수했다.
• 일반 하이브리드 형식은 학습이 가장 어려웠으며, 장수렴 단계 오차 분포와 이중 전이 오차에 매우 민감했다.
• 이중 전이 정확도 저하는 궤적 발산의 주요 원인이었으며, 장기 성능을 위해 이중 스위치의 정확한 모델링이 필수적임을 시사했다.
• 이완된 이중 변수로 사전 학습을 수행함으로써 일반 하이브리드 형식의 수렴성이 향상되었으며, 이는 복잡한 하이브리드 시스템을 다루는 실용적인 전략임을 시사했다.
• 다단계 학습과 이중 전이를 우선시하는 가중치 손실 함수는 특히 고차원 이중 상태를 갖는 시스템에서 정확도 향상에 크게 기여할 수 있다.