[論文レビュー] Operator Fitting for Parameter Estimation of Stochastic Differential Equations

Asbjørn Nilsen Riseth, Jake P. Taylor‐King|arXiv (Cornell University)|Sep 15, 2017

Model Reduction and Neural Networks参考文献 31被引用数 13

ひとこと要約

本稿では、拡張動的モード分解（EDMD）を用いた演算子フィッティングにより、確率微分方程式（SDEs）のパラメータ推定のための新規手法を提案する。データ駆動のEDMD行列と有限次元近似のコープマン演算子を一致させることで、サンプルサイズに依存しない計算コストでパrameter推定を実現し、数値実験では収束速度 𝒪(T⁻¹/²) および 𝒪(T⁻¹/³) を示した。また、特定の条件下では、完全な行列表現に比べて限界的な固有関数展開が優れることが示された。

ABSTRACT

Estimation of parameters is a crucial part of model development. When models are deterministic, one can minimise the fitting error; for stochastic systems one must be more careful. Broadly parameterisation methods for stochastic dynamical systems fit into maximum likelihood estimation- and method of moment-inspired techniques. We propose a method where one matches a finite dimensional approximation of the Koopman operator with the implied Koopman operator as generated by an extended dynamic mode decomposition approximation. One advantage of this approach is that the objective evaluation cost can be independent the number of samples for some dynamical systems. We test our approach on two simple systems in the form of stochastic differential equations, compare to benchmark techniques, and consider limited eigen-expansions of the operators being approximated. Other small variations on the technique are also considered, and we discuss the advantages to our formulation.

研究の動機と目的

• 内在的なノイズのため、従来の決定的手法が失敗する確率的力学系におけるパラメータ推定の課題に対処すること。
• 最尤推定（MLE）やモーメント法（MM）に依存せず、計算効率を維持するパラメータ推定フレームワークを構築すること。
• コープマン演算子フレームワークとEDMDを活用し、スケーラブルでデータ駆動のSDEパラメータフィッティングを可能にし、証明可能な収束性を有すること。
• 固有関数展開の有用性を検証し、推定精度を損なわずに計算コストを低減すること。

提案手法

• 時間系列データから基底関数の集合を用いてEDMD行列を構築し、データ上でのコープマン演算子の作用を近似する。
• パラメータ推定問題を、データ駆動のEDMD行列と、パrameter θでパrameter化されたモデルベースのコープマン行列との間のノルム差を最小化することで定式化する。
• 目的関数は ‖A_μ(θ)ψ(X) − ψ(Y)‖₂ として定義され、ψ(X) および ψ(Y) は連続するデータポイントにおける基底関数の評価値である。
• EDMDが真のコープマン演算子に理論的に収束することに裏付けられ、正則性条件下では平均二乗誤差が 𝒪(1/T) のスケーリングを示す。
• コープマン演算子の限界的な固有関数展開や、代替内積の使用を含む変種を検討し、性能向上を図る。
• 直接的な尤度評価を回避することで、サンプル数 T に依存しないコストを実現し、基底関数の数 N にのみ依存するスケーリングが達成される。

実験結果

リサーチクエスチョン

• RQ1 EDMDによる演算子フィッティングは、MLE や MM に代わる計算効率の良い SDE パラメータ推定手法となり得るか？
• RQ2 本手法は、既存の技術と同等の収束速度を達成する一貫性のあるパラメータ推定を実現するか？
• RQ3 コープマン演算子の限界的な固有関数展開が、完全な行列表現を上回る条件は何か？
• RQ4 既知のダイナミクスを有する低次元SDEに対して、本手法はベンチマーク手法に比べてどの程度の性能を示すか？
• RQ5 基底関数の選定とデータサンプリング戦略が、推定精度と計算コストに与える影響は何か？

主な発見

• パラメータ推定誤差の収束速度が 𝒪(T⁻¹/²) および 𝒪(T⁻¹/³) であることが確認され、モンテカルロ手法による加速の可能性を示唆した。
• 数値実験では、ベンチマーク手法と同等の性能を示し、データサイズの増加に伴って安定した収束を示した。
• 一部のケースでは、コープマン演算子の限界的な固有関数展開が、完全な行列表現よりも優れたパラメータ推定を達成した。これは次元削減の可能性を示唆した。
• パラメータ探索の計算コストはデータポイント数 T に依存せず、基底関数の数 N にのみ依存するため、大規模データセットへのスケーラビリティが確保された。
• 本手法は標準的な MLE や MM の枠組みに属さず、確率的システムにおけるパラメータ推定の新たな道筋を提供した。
• 理論的分析により、EDMDが真のコープマン演算子を平均二乗誤差 𝒪(1/T) のスケーリングで推定することを確認し、本手法の一貫性を裏付けた。