[論文レビュー] A regularization method for the parameter estimation problem in ordinary differential equations via discrete optimal control theory

Quentin Clairon|arXiv (Cornell University)|Oct 9, 2018

Control Systems and Identification参考文献 63被引用数 5

ひとこと要約

この論文は、事前平滑化を必要とせず、連続最適制御フレームワークを離散化することで、常微分方程式（ODE）におけるパrameter推定の計算的に効率的な正則化手法を提案する。この手法は、パrameter推定の収束速度がパラメトリックである一貫性のある推定を達成し、小標本およびモデル不適合の設定において標準的手法を上回る性能を示す。また、最適制御軌道を用いた解釈可能な残差を提供することで、モデルの不適切さを検出可能である。

ABSTRACT

We present a parameter estimation method in Ordinary Differential Equation (ODE) models. Due to complex relationships between parameters and states the use of standard techniques such as nonlinear least squares can lead to the presence of poorly identifiable parameters. Moreover, ODEs are generally approximations of the true process and the influence of misspecification on inference is often neglected. Methods based on control theory have emerged to regularize the ill posed problem of parameter estimation in this context. However, they are computationally intensive and rely on a nonparametric state estimator known to be biased in the sparse sample case. In this paper, we construct criteria based on discrete control theory which are computationally efficient and bypass the presmoothing step of signal estimation while retaining the benefits of control theory for estimation. We describe how the estimation problem can be turned into a control one and present the numerical methods used to solve it. We show convergence of our estimator in the parametric and well-specified case. For small sample sizes, numerical experiments with models containing poorly identifiable parameters and with various sources of model misspecification demonstrate the acurracy of our method. We finally test our approach on a real data example.

研究の動機と目的

• 実用的非同定性およびパrameter感度のスロッピーネスに起因するODEパラメータ推定の不適切さ（ill-posed）な性質に対処する。
• ノイズのあるデータに対する非パラメトリック事前平滑化に依存する既存の制御理論的手法が抱える計算コストのボトル neck とバイアスを克服する。
• 適切に指定されたモデル下で、パラメトリック収束速度を達成する一貫性のある推定量を提供するとともに、モデル不適合に対してもロバストであることを確保する。
• 余分なノイズパラメータとして推定する必要がないように、初期条件のプロファイリングを可能にする。
• 最適制御軌道の残差解析を通じて、モデルの不適切さの検出を促進する。

提案手法

• 連続最適制御フレームワークの離散時刻形式を用いて、ODEパラメータ推定問題を離散最適制御問題に再定式化する。
• 観測データとモデル予測との乖離に基づくコスト関数を構築し、最適制御入力のノルムによる正則化を施す。
• 連続感度方程式を解く必要を回避するため、ODEダイナミクスの離散時刻近似を用いることで計算コストを低減する。
• 離散最大原理を適用して最適性の必要条件を導出し、それらを数値的に2点境界値問題として解く。
• 初期条件を制御ベクトルの一部として扱うことで、初期条件のプロファイリングを実現し、別個の推定を不要にする。
• 得られた最適制御軌道をモデルの残差として利用し、系統的なモデル不適合を検出する。

実験結果

リサーチクエスチョン

• RQ1 離散最適制御定式化は、ODEにおける連続制御に基づくパラメータ推定の代替手段として、一貫性と効率性を備えているか？
• RQ2 漸近理論が成立しない小標本の設定下で、提案手法はどのように性能を示すか？
• RQ3 最適制御軌道が、モデル不適合の検出にどの程度の診断的ツールとして機能するか？
• RQ4 関数形の誤りや変数の省略といったさまざまな形でのモデル不適合に対しても、この手法はロバスト性を維持できるか？
• RQ5 感度行列のスロッピーネスに起因する識別が困難なパラメータを、この手法は効果的に扱えるか？

主な発見

• 適切に指定されたモデル下で、提案推定量はパラメトリック収束速度を達成しており、一貫性と効率性が裏付けられている。
• 識別が困難なパラメータを有する小標本シミュレーションにおいて、非線形最小二乗法や一般化プロファイリングに比べ、推定精度と安定性の面で顕著に優れている。
• 実データでは、最適制御軌道が被験者間で共通のパターンを示しており、標準的残差では捉えきれない系統的なモデル欠陥が存在することを示唆している。
• 実データ例において、この手法はStein推定量とは異なる符号のパラメータ推定値を生成しており、モデル不確実性に対するより優れたロバスト性を示唆している。
• 追加のノイズパラメータを導入することなく、初期条件のプロファイリングが成功しており、推定フレームワークの簡素化が達成された。