[논문 리뷰] Koopman Theory and Linear Approximation Spaces

Andrew J. Kurdila, Parag Bobade|arXiv (Cornell University)|2018. 11. 27.

Model Reduction and Neural Networks참고 문헌 55인용 수 7

한 줄 요약

이 논문은 선형 근사 공간, 웨이블릿, 고유함수를 사용하여 데이터 기반 동역학계에서 쿠페르만 및 페론-프로베니우스 연산자의 수렴 속도를 확립한다. 오차를 근사 오차와 표본 오차로 분해하고, i.i.d. 표본 추출 조건 하에서 $(\log m / m)^{2r/(2r+1)}$ 정도의 준최적 수렴 속도를 유도하며, 이는 함수의 매끄러움 정도와 근사 공간의 구조에 따라 달라진다.

ABSTRACT

Koopman theory studies dynamical systems in terms of operator theoretic properties of the Perron-Frobenius operator $\mathcal{P}$ and Koopman operator $\mathcal{U}$ respectively. In this paper, we derive the rates of convergence of approximations of $\mathcal{P}$ or $\mathcal{U}$ that are generated by finite dimensional bases like wavelets, multiwavelets, and eigenfunctions, as well as approaches that use samples of the input and output of the system in conjunction with these bases. We introduce a general class of priors that describe the information available for constructing such approximations and facilitate the error estimates in many applications of interest. These priors are defined in terms of the action of $\mathcal{P}$ or $\mathcal{U}$ on certain linear approximation spaces. The rates of convergence for the estimates of these operators are investigated under a variety of situations that are motivated from associated assumptions in practical applications. When the estimates of these operators are generated by samples, it is shown that the error in approximation of the Perron-Frobenius or Koopman operators can be decomposed into two parts, the approximation error and the sampling error. This result emphasizes that sample-based estimates of Perron-Frobenius and Koopman operators are subject to the well-known trade-off between the bias and variance that contribute to the error, a balance that also features in nonlinear regression and statistical learning theory.

연구 동기 및 목표

• 비선형 동역계에서 쿠페르만 및 페론-프로베니우스 연산자의 근사에 대해 엄밀한 수렴 속도를 확립하기.
• 데이터 기반 연산자 추정에서 근사 오차와 표본 오차 간의 상호 보완적 관계를 규명하기.
• 스펙트럼 및 선형 근사 공간 기반 사전 분포를 위한 일반적 프레임워크를 개발하여 다양한 응용 분야에서 오차 추정이 가능하도록 하기.
• 웨이블릿, 다중웨이블릿, 고유함수 기반 기저들이 이러한 연산자를 근사하는 데 있어 성능을 분석하기.
• 표본으로부터의 시스템 궤적을 사용한 EDMD 유형 알고리즘에 대한 경계를 도출하며, 추정의 편향과 분산을 모두 고려하기.

제안 방법

• 쿠페르만 또는 페론-프로베니우스 연산자가 선형 근사 공간 $A^{r,q}(X)$ 에 작용하는 방식으로 정의된 일반적인 사전 분포 클래스를 사용한다. 여기서 $X$ 는 $\Omega$ 상의 함수들의 바나흐 공간이다.
• 함수적 설정을 정의하기 위해 힐버트 공간 프레임워크 $U = L^2_\mu(\Omega)$ 와 재생 핵 힐버트 공간(RKHS)을 적용한다.
• 근사 오차(함수의 매끄러움 정도와 기저 선택에 따라 달라짐)와 표본 오차(표본 분포에 따라 달라짐)로 오차를 분해한다.
• 조각별 다항식을 재생하는 웨이블릿과 다중웨이블릿을 사용하여 유한요소법 및 스퍼인 기반 갈레르킨 방법과의 연결을 맺는다.
• 표본 회귀와 정확한 데이터 기반 방법을 사용한 EDMD 유형 알고리즘을 분석하며, 오차는 $L^2$-노름과 최대노름을 통해 경계를 정한다.
• 집중 불등식을 사용하여 열악한 표본 결과가 발생할 확률을 경계하며, 표본 크기가 증가함에 따라 열악한 집합의 측도가 지수적으로 감소함을 보인다.

실험 결과

연구 질문

• RQ1 웨이블릿이나 고유함수와 같은 유한 차원 기저를 사용할 때, 쿠페르만 및 페론-프로베니우스 연산자의 수렴 속도는 어떻게 되는가?
• RQ2 데이터 기반 추정에서 근사 오차와 표본 오차는 어떻게 상호 보완적인가?
• RQ3 i.i.d. 표본 추출 조건 하에서 EDMD 유형 알고리즘의 최고로 달성 가능한 수렴 속도는 무엇이며, 함수의 매끄러움 정도에 따라 어떻게 달라지는가?
• RQ4 웨이블릿, 고유함수 등 근사 공간의 구조를 어떻게 활용하여 날카운 오차 경계를 도출할 수 있는가?
• RQ5 표본 기반 연산자 추정의 오차는 해석 가능한 성분들로 분해될 수 있으며, 이 성분들은 표본 크기와 기저 차원에 따라 어떻게 척도화되는가?

주요 결과

• i.i.d. 표본을 사용할 경우 EDMD 근사에서 쿠페르만 연산자의 오차는 $\mathbb{E}_{\nu^m}\left(\|\mathcal{U}f - \mathcal{U}^{edmd}_{j,z}f\|_U\right) \lesssim \left(\frac{\log m}{m}\right)^{2r/(2r+1)}$ 로 경계되며, $\log m$ 요소를 제외하고는 준최적이다.
• 함수 $f$ 가 스펙트럼 근사 공간 $A^{r,2}(U)$ 에 속할 경우 근사 오차는 $O(2^{-rj/2})$ 로 경계되며, 이는 매끄러움 정도 $r$ 과 해상도 $j$ 에 따라 달라짐을 반영한다.
• 표본 오차 항은 고려된 확률에서 $\epsilon$ 이하로 경계되며, 열악한 표본 집합의 측도는 표본 크기 $m$ 에 따라 지수적으로 감소한다.
• $\text{Lip}^*(r, L^\infty(\Omega))$ 에 속하는 함수에 대해, 사영 오차 $\|(I - \Pi_j)f\|_{L^\infty(\Omega)} \approx 2^{-rj}$ 로 표현되며, 이는 매끄러움 정도와 근사 정확도 사이의 관계를 연결한다.
• 입력 데이터가 강한 혼합 마코프 체인에 의해 생성될 경우, 효과적 표본 크기 $e(m)$ 이 수렴 속도에서 $m$ 에 대체되며, $\mathbb{E}_{\mathbb{P}^m_{\{z\}}} \left(\|\mathcal{U}f - \mathcal{U}^{edmd}_{j,z}f\|_U\right) \lesssim \left(\frac{\log e(m)}{e(m)}\right)^{2r/(2r+1)}$ 를 얻는다.
• 분석 결과, 다항식 재생 성질을 가진 웨이블릿 및 다중웨이블릿 기저는 갈레르킨 방법에서의 유한요소법 및 스퍼인 방법과 비슷한 근사 속도를 달성함을 확인한다.