[論文レビュー] Accelerated least squares estimation for systems of ordinary differential equations

Itai Dattner, Shota Gugushvili|arXiv (Cornell University)|Mar 27, 2015

Control Systems and Identification参考文献 24被引用数 4

ひとこと要約

この論文は、ノイズのある観測値を伴う常微分方程式系におけるパラメータ推定を効率的に行うための加速最小二乗法（ACCEL）を提案する。$√n$-一貫性を持つ初期推定量から出発し、1回のニュートン・ラプソンステップを適用することで、計算コストを最小限に抑えながら、完全な最小二乗法と漸近的に同等の性能を達成する。これにより、高速な点推定と信頼区間推定が可能になる。

ABSTRACT

We study the problem of parameter estimation for a system of ordinary differential equations based on noisy observations on the solution of the system. A classical estimation approach to this problem is the least squares method. Owing to a highly nonlinear character of the least squares criterion function and the need to employ repetitive numerical integration of the system, the latter method becomes computationally intense for most realistic systems. We propose the accelerated (ACCEL) least squares method, which starts from a preliminary \sqrt{n}-consistent estimator of the parameter of interest and next through a Newton-Raphson type step turns it into an asymptotically equivalent estimator to the least squares estimator. Additional computational burden of this step is negligible. We demonstrate excellent practical performance of the ACCEL least squares approach via simulations and real data examples. The method enables the researcher to obtain both point and interval estimates.

研究の動機と目的

• ノイズのあるデータを伴うODE系における従来の最小二乗推定の高い計算コストに対処する。
• 繰り返し数値積分を要する非線形的かつ非凸的最適化の課題を克服する。
• 完全な最小二乗法と同等の漸近的効率性を維持しながら、計算的に効率的な代替手法を開発する。
• 限られた計算リソースを持つ現実的なODE系において、実用的な点推定と信頼区間推定を可能にする。

提案手法

• 計算コストが低い手法により得られる、ODEパラメータの$√n$-一貫性を持つ初期推定量から出発する。
• 初期推定量を初期値として用い、最小二乗基準関数に対して1回のニュートン・ラプソン更新ステップを適用する。
• 初期推定量の周囲における最小二乗基準関数の局所的2次近似を活用し、追加の積分コストを最小限に抑える。
• 最終的な推定量が、追加計算をほとんど要せず、完全な最小二乗推定量と漸近的に同等の性能を達成することを保証する。
• 初期段階では、各データポイントに対して1回ずつ数値積分（例：ルンゲ＝クッタ法）を実行し、精錬段階では繰り返し積分を回避する。
• 最小二乗目的関数の勾配とヘッセ行列を用いてニュートン・ラプソン更新を導出する。ODE解写像の滑らかさを活用する。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある観測値を伴うODE系に対して、完全な最小二乗法の計算的に効率的な代替手法を開発できるか？
• RQ2 初期推定量として$√n$-一貫性を持つ推定量を用い、1回のニュートン・ラプソンステップを適用することで、完全な最小二乗法と漸近的に同等の結果が得られるか？
• RQ3 ACCEL法は、標準的な最小二乗法や他の推定量と比較して、計算効率と推定精度の点でどのように異なるか？
• RQ4 ACCEL法は、実用的なODEパラメータ推定問題において、信頼性のある点推定と信頼区間推定を提供できるか？

主な発見

• ACCEL法は、完全な最小二乗推定量と漸近的に同等の性能を、1回のニュートン・ラプソン更新ステップのみで達成する。
• 標準的な最小二乗法が要する繰り返し数値積分を回避することで、計算負荷を顕著に低減する。
• シミュレーションおよび実データ例により、完全な最小二乗法と同等の推定精度を示す強力な実用的性能が確認された。
• 本手法により、信頼性のある点推定と信頼区間推定が可能となり、計算リソースが限られた現実応用に適している。
• 精錬段階の計算コストは、初期推定段階と比較して無視できるほど小さい。
• 特に複雑または高次元のODE系において、実行時間の大幅な向上を達成しながらも、統計的効率性を維持する。