[論文レビュー] Learning nonparametric differential equations with operator-valued kernels and gradient matching

Markus Heinonen, Florence d’Alché–Buc|arXiv (Cornell University)|Nov 19, 2014

Model Reduction and Neural Networks参考文献 24被引用数 4

ひとこと要約

本稿では、演算子値カーネルと勾配マッチングを用いた非パrametricな常微分方程式（ODE）モデリングフレームワークを提案する。この手法により、事前の力学的仮定がなくても、柔軟でデータ駆動型のODE推定が可能になる。再生核ヒルベルト空間（RKHS）におけるペナルティ付き回帰と2段階勾配マッチングを組み合わせることで、合成的および生物学的ODE系において正確なODE回復が達成され、真のモデルが未知または誤った指定である場合でも、パrametricな代替手法を上回る性能を示す。

ABSTRACT

Modeling dynamical systems with ordinary differential equations implies a mechanistic view of the process underlying the dynamics. However in many cases, this knowledge is not available. To overcome this issue, we introduce a general framework for nonparametric ODE models using penalized regression in Reproducing Kernel Hilbert Spaces (RKHS) based on operator-valued kernels. Moreover, we extend the scope of gradient matching approaches to nonparametric ODE. A smooth estimate of the solution ODE is built to provide an approximation of the derivative of the ODE solution which is in turn used to learn the nonparametric ODE model. This approach benefits from the flexibility of penalized regression in RKHS allowing for ridge or (structured) sparse regression as well. Very good results are shown on 3 different ODE systems.

研究の動機と目的

• 力学的知識が入手不可能または曖昧な場合のODEモデリングの課題に対処すること。
• モデル選択バイアスを回避し、データ駆動型のODEダイナミクスの発見を可能にする非パrametricフレームワークの開発。
• ベクトル値カーネル手法を用いて勾配マッチングを非パrametric ODE推定に拡張すること。
• 複数の初期条件からの学習を可能とし、ODE推定におけるスパースまたは構造的正則化をサポートすること。
• 高価な数値積分を回避する、柔軟で原理的根拠のあるパrametric ODEフィッティングの代替手法を提供すること。

提案手法

• 2段階勾配マッチングアプローチを用いる：まず、スカラ値カーネルのRKHS回帰を用いて、ノイズのある観測値を軌道推定 $ g(t) $ に滑らかにする。
• 2番目に、演算子値カーネル回帰により、非パrametricなベクトル場 $ h: \mathbb{R}^p \to \mathbb{R}^p $ を学習し、$ \dot{g}(t) \approx h(g(t)) $ を満たすようにする。
• 構造的またはスパース正則化（例：リッジやグループlasso）を用いたRKHSにおけるペナルティ付き回帰を採用し、柔軟な関数推定を実現する。
• 非滑らか罰則を含む最適化問題を解くために、近接勾配アルゴリズムを適用し、スパースモデル学習を可能にする。
• 行列値カーネルを用いて、ベクトル値関数空間における状態変数とその微分の間の依存関係をモデル化する。
• 滑らかさと一貫性の枠組みを実装し、$ g $ が真の軌道を近似し、$ \dot{g} $ が真の微分を近似するようにする。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く、スパースな時系列データから、パラメトリックな形を仮定せずに非パrametric ODEを効果的に学習できるか？
• RQ2 演算子値カーネル回帰は、非パrametric ODE推定における勾配マッチングをどのように改善するか？
• RQ3 スパarsityと構造的正則化は、非パrametric ODEモデルにおける解釈可能性と一般化性能をどの程度向上させるか？
• RQ4 真のODEが未知の実際の生物学的データセットにおいて、この手法はどの程度の性能を示すか？
• RQ5 複数の軌道から学習した場合、新しい初期条件への一般化は可能か？

主な発見

• 真のモデルが誤って指定された状況で、提案手法OKODEはFHNモデルにおいて平均二乗誤差（MSE）0.0270を達成し、14パラメータのパラメトリックモデル（MSE = 0.4925）を上回った。
• FHNデータセットにおいて、状態アーキテクチャのRamsay法（MSE = 0.0094）に匹敵するほぼ最適な性能を達成したが、非パラメトリックであるにもかかわらず、これは顕著な成果である。
• スパarsity正則化により、モデル係数の約半数がゼロに設定されたが、軌道誤差への影響は最小限に抑えられ、モデルの堅牢性と単純化の可能性が示された。
• 本手法は、高精度でDREAM3生物学的データセットを再構築でき、実際のノイズが多く複雑な生物学的系への適用可能性を実証した。
• 初期条件を2つから4つに増やすことで、一般化誤差が顕著に低下し、モデルの堅牢性と一般化能力の向上が確認された。
• 近接アルゴリズムを用いることで、滑らかさとスパース推定の両方をサポートするフレームワークが実現され、さまざまな構造的制約下での柔軟なモデリングが可能になった。