[논문 리뷰] Koopman Operator, Geometry, and Learning

Igor Mezić|arXiv (Cornell University)|2020. 10. 12.

Model Reduction and Neural Networks참고 문헌 38인용 수 9

한 줄 요약

이 논문은 스펙트럼 성질과 기하적 표현을 활용하여 비선형 동역계를 학습하기 위한 쿠프만 연산자 기반 프레임워크를 제안한다. 이는 유한차원 선형 및 비선형 시스템 기술을 가능하게 하며, 관측량이 점들을 분리할 경우 쿠프만 고유함수는 기억 없고 폐형의 마르코프 표현을 제공함을 보여, 기존의 모리-ツ바니츠 형식에서의 노이즈 모델링을 도전한다.

ABSTRACT

We provide a framework for learning of dynamical systems rooted in the concept of representations and Koopman operators. The interplay between the two leads to the full description of systems that can be represented linearly in a finite dimension, based on the properties of the Koopman operator spectrum. The geometry of state space is connected to the notion of representation, both in the linear case - where it is related to joint level sets of eigenfunctions - and in the nonlinear representation case. As shown here, even nonlinear finite-dimensional representations can be learned using the Koopman operator framework, leading to a new class of representation eigenproblems. The connection to learning using neural networks is given. An extension of the Koopman operator theory to "static" maps between different spaces is provided. The effect of the Koopman operator spectrum on Mori-Zwanzig type representations is discussed.

연구 동기 및 목표

• 쿠프만 연산자와 기하적 표현을 사용하여 동역계 학습을 위한 통합 프레임워크를 개발하기.
• 특히 局부 분석과 저차원성에 의존하는 전통적인 기하 동역계 이론의 한계를 해결하기.
• 쿠프만 스펙트럼 이론을 통해 시간을 명시적으로 통합함으로써 비지도 및 자기지도 학습을 가능하게 하기.
• 쿠프만 연산자 이론을 신경망 기반 학습과 연결하고, 공간 간 정적 사상으로 확장하기.
• 쿠프만 고유함수 기반 표현을 통해 모리-츠바니츠 형식에서 기억과 노이즈의 역할을 재평가하기.

제안 방법

• 비선형 역학을 함수 공간에서 선형 진화로 올리는 데 쿠프만 연산자를 활용하여 스펙트럼 분석을 가능하게 한다.
• 데이터에서 쿠프만 고유함수와 그 스펙트럼 성질을 추출하기 위해 일반화된 라플라스 분석을 적용한다.
• 상태 공간에서 유한차원 공간으로 사상하는 비선형 표현 (f, F)를 정의하며, F는 f를 선형으로 진화시키고 비선형 보정 항 G(f)를 포함한다.
• 쿠프만 연산자가 이산 스펙트럼을 가지며 관측량이 점들을 분리할 경우, 기억 또는 노이즈 항이 없는 폐형 마르코프 표현이 존재함을 입증한다.
• 시간에 독립적인 동역계로 간주함으로써 쿠프만 프레임워크를 '정적' 사상 간의 맵핑으로 확장한다.
• 쿠프만 스펙트럼 분해의 관점에서 모리-츠바니츠 형식을 분석하여, 노이즈와 기억이 관측량이 점들을 분리하지 못하고 스펙트럼이 연속일 경우에 기인함을 보여준다.

실험 결과

연구 질문

• RQ1 쿠프만 연산자 이론은 비선형 동역계의 유한차원 표현을 어떻게 구성할 수 있는가?
• RQ2 쿠프만 기반 표현이 마르코프적이며 기억이나 노이즈 항이 없는 조건은 무엇인가?
• RQ3 상태 공간의 기하학은 쿠프만 고유함수의 공동 수준집합과 어떻게 관련이 있는가?
• RQ4 쿠프만 프레임워크는 제한된 데이터에서 어떻게 비지도 및 자기지도 학습을 가능하게 하는가?
• RQ5 기존의 모리-츠바니츠 형식에서 잔여항 (QU)을 노이즈로 모델링하는 것이 왜 문제인지, 쿠프만 접근은 이를 어떻게 해결하는가?

주요 결과

• 관측량이 상태 공간의 점들을 분리하고 쿠프만 연산자가 이산 스펙트럼을 가질 경우, 기억 없고 폐형의 표현 f' = Af + G(f)가 존재한다.
• 무리수 원주 회전의 예시는 비선형 고유함수가 아니어도 관측량이 점들을 분리하면 마르코프 역학이 가능함을 보여주며, QU를 반드시 노이즈로 모델링해야 한다는 가정을 반박한다.
• 쿠프만 연산자 프레임워크는 노이즈와 기억이 모리-츠바니츠 형식에서 기인하는 두 가지 근본 원인을 드러내며, 즉 비충실한 표현과 쿠프만 연산자의 연속 스펙트럼이다.
• 쿠프만 고유함수를 사용하여 고차원 시스템에서도 전역적으로 유효한 기하적 객체, 예를 들어 불변 집합과 안정/불안정 다변량을 구성할 수 있다.
• 일반화된 라플라스 분석을 통한 스트리밍 데이터 적응을 지원하여 온라인 비지도 학습과 생성 모델링 가능성을 제공한다.
• 이 접근은 시간 진화 시스템을 초월하여 공간 간 '정적' 맵핑으로 확장되며, 비동역학 문제로의 적용 범위를 넓힌다.