[논문 리뷰] Operator Fitting for Parameter Estimation of Stochastic Differential Equations

Asbjørn Nilsen Riseth, Jake P. Taylor‐King|arXiv (Cornell University)|2017. 09. 15.

Model Reduction and Neural Networks참고 문헌 31인용 수 13

한 줄 요약

이 논문은 확률적 미분 방정식(SDEs)에 대한 새로운 매개변수 추정 방법을 제안한다. 이 방법은 확장 동적 모드 분해(EDMD)를 통한 연산자 피팅을 기반으로 하며, 유한 차원 근사된 쿠퍼만 연산자와 데이터 기반 EDMD 행렬을 일치시켜, 표본 크기와 무관한 계산 비용으로 매개변수 추론을 실현한다. 수치 실험에서는 수렴 속도가 𝒪(T⁻¹/²) 및 𝒪(T⁻¹/³)임을 입증하였으며, 특정 조건 하에서는 전체 행렬 표현보다 제한된 고유함수 전개가 더 우수한 성능을 보임을 보였다.

ABSTRACT

Estimation of parameters is a crucial part of model development. When models are deterministic, one can minimise the fitting error; for stochastic systems one must be more careful. Broadly parameterisation methods for stochastic dynamical systems fit into maximum likelihood estimation- and method of moment-inspired techniques. We propose a method where one matches a finite dimensional approximation of the Koopman operator with the implied Koopman operator as generated by an extended dynamic mode decomposition approximation. One advantage of this approach is that the objective evaluation cost can be independent the number of samples for some dynamical systems. We test our approach on two simple systems in the form of stochastic differential equations, compare to benchmark techniques, and consider limited eigen-expansions of the operators being approximated. Other small variations on the technique are also considered, and we discuss the advantages to our formulation.

연구 동기 및 목표

• 내부 노이즈로 인해 기존의 결정론적 방법이 실패하는 확률적 동역학 시스템에서의 매개변수 추정 과제를 해결하기 위해.
• 최대우도추정법(MLE)이나 모멘트법(MM)에 의존하지 않으면서도 계산 효율성을 유지하는 매개변수 추론 프레임워크를 개발하기 위해.
• 쿠퍼만 연산자 프레임워크와 EDMD를 활용하여 확률적 SDE에 대해 확장 가능하고 데이터 기반의 매개변수 피팅을 가능하게 하며, 증명 가능한 수렴 성질을 갖는다.
• 고유함수 전개의 유용성을 탐색하여 계산 비용을 줄이되 정확도를 손상시키지 않는 방법을 모색하기 위해.

제안 방법

• 시간 시리즈 데이터에서 기저 함수의 집합을 사용하여 EDMD 행렬을 구성함으로써, 데이터 위에서 쿠퍼만 연산자의 행동을 근사한다.
• 매개변수 θ로 매개화된 모델 기반 쿠퍼만 행렬과 데이터 기반 EDMD 행렬 간의 노름 차이를 최소화하는 방식으로 매개변수 추정 문제를 수립한다.
• 목적 함수는 ‖A_μ(θ)ψ(X) − ψ(Y)‖₂로 정의되며, 여기서 ψ(X)와 ψ(Y)는 연속된 데이터 포인트에서의 기저 함수 평가이다.
• 이 방법은 EDMD가 진정한 쿠퍼만 연산자로 수렴하는 이론적 기반을 바탕으로 하며, 정규성 조건 하에서 평균 제곱 오차가 𝒪(1/T)로 척도가 조정됨을 보여준다.
• 성능 향상을 위해 쿠퍼만 연산자의 제한된 고유함수 전개 및 다른 내적의 사용과 같은 변형을 탐색한다.
• 직접 우도 평가를 피하기 때문에, 수치 표본 수 T에 관계없이 비용이 독립적이며, 기저 함수의 수 N에만 비례하여 증가한다.

실험 결과

연구 질문

• RQ1 EDMD를 통한 연산자 피팅은 MLE나 MM에 비해 계산 비용이 낮은 SDE 매개변수 추정의 대안이 될 수 있는가?
• RQ2 이 방법은 기존 기법들과 유사한 수렴 속도를 갖는 일관된 매개변수 추정을 달성하는가?
• RQ3 쿠퍼만 연산자의 제한된 고유함수 전개가 전체 행렬 표현보다 우수한 성능을 보이는 조건은 무엇인가?
• RQ4 알려진 역학을 갖는 저차원 SDE에 대해 이 방법은 기준 방법들과 비교해 어떻게 성능을 발휘하는가?
• RQ5 기저 함수 선택과 데이터 샘플링 전략은 추정 정확도와 계산 비용에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 매개변수 추정 오차의 수렴 속도가 𝒪(T⁻¹/²) 및 𝒪(T⁻¹/³)임을 입증하여, 몬테카를로 기법을 통한 가속화 가능성을 시사한다.
• 수치 실험 결과, 기준 방법들과 유사한 성능을 보이며, 데이터 크기가 증가함에 따라 안정적인 수렴을 보였다.
• 일부 사례에서 쿠퍼만 연산자의 제한된 고유함수 전개가 전체 행렬 표현보다 더 우수한 매개변수 추정을 제공함을 확인하여, 차원 축소 잠재력이 있음을 시사한다.
• 매개변수 탐색의 계산 비용은 데이터 포인트 수 T에 관계없이 일정하며, 기저 함수의 수 N에만 비례하여 증가하므로, 대규모 데이터셋에 대한 확장성이 보장된다.
• 이 방법은 표준 MLE나 MM 범주에 속하지 않으며, 확률적 시스템에서의 매개변수 추론을 위한 새로운 길을 제시한다.
• 이론적 분석을 통해 EDMD가 진정한 쿠퍼만 연산자를 평균 제곱 오차 𝒪(1/T)로 추정함을 확인하여, 이 방법의 일관성을 뒷받침한다.