[論文レビュー] CINDy: Conditional gradient-based Identification of Non-linear Dynamics -- Noise-robust recovery

Alejandro Carderera, Sebastian Pokutta+2 more|arXiv (Cornell University)|Jan 7, 2021

Model Reduction and Neural Networks参考文献 37被引用数 7

ひとこと要約

CINDy は、ノイズのあるデータから非線形ダイナミクスのスパース同定に、条件付き勾配に基づく最適化フレームワークを提案する。1次凸最適化を活用することで、優れたスパarsity、ノイズ耐性、構造保存性を達成する。SINDy や FISTA、IPM よりも、より少ない基底関数で真の支配方程式を回復し、ノイズ下での一般化性能が向上する。

ABSTRACT

Governing equations are essential to the study of nonlinear dynamics, often enabling the prediction of previously unseen behaviors as well as the inclusion into control strategies. The discovery of governing equations from data thus has the potential to transform data-rich fields where well-established dynamical models remain unknown. This work contributes to the recent trend in data-driven sparse identification of nonlinear dynamics of finding the best sparse fit to observational data in a large library of potential nonlinear models. We propose an efficient first-order Conditional Gradient algorithm for solving the underlying optimization problem. In comparison to the most prominent alternative algorithms, the new algorithm shows significantly improved performance on several essential issues like sparsity-induction, structure-preservation, noise robustness, and sample efficiency. We demonstrate these advantages on several dynamics from the field of synchronization, particle dynamics, and enzyme chemistry.

研究の動機と目的

• 非線形力学系におけるノイズの多い高次元データから、スパースで物理的に意味のある支配方程式を同定する課題に対処する。
• SINDy ら既存手法がノイズ下で密度解を示し一般化性能が低いという限界を克服する。
• スパarsity を内蔵的に促進し、保存則などの構造的制約を保持する、効率的な1次最適化フレームワークを構築する。
• 学習プロセスに物理的対称性や不変量を組み込むことで、限られたノイズの多いデータからもダイナミクスを頑健に回復可能にする。
• 同期化、粒子運動、酵素動力学といった多様な力学系において、軌道予測および基底関数選択の両面で優れた性能を示す。

提案手法

• 基底関数の辞書（例：2次までの単項式）を用いて、候補となる非線形項を表現するスパース同定問題を凸最適化問題として定式化する。
• スパース回復問題を解くために、スパース解への内蔵的バイアスを持つ条件付き勾配（Frank-Wolfe）アルゴリズムを適用する。明示的なしきい値処理を不要とする。
• 物理的一致性（例：酵素動力学における全質量保存）を保証するため、線形不等式制約を最適化に統合する。
• 微分形式および積分形式の両方の同定問題をサポートし、導関数推定には高次多項式補間を用いる。
• 収束を加速し実用的性能を向上させるために、条件付き勾配法のブレンド版（Blended Conditional Gradients）を採用する。
• 非凸形式を避けることで計算コストが高く不安定な問題を回避するため、スパース回復問題の凸緩和を解くことでノイズ耐性を強化する。

実験結果

リサーチクエスチョン

• RQ1 1次条件付き勾配法は、しきい値ベースや非凸アプローチに比べ、非線形ダイナミクスのスパース同定において、より優れたスパarsityとノイズ耐性を達成できるか？
• RQ2 保存則や対称性といった物理的制約を最適化フレームワークに組み込むことで、一般化性能の向上とサンプル必要量の削減にどの程度寄与できるか？
• RQ3 ノイズレベルが上昇する条件下で、CINDy は SINDy や FISTA、IPM に比べ、回復精度、スパarsity、軌道予測の観点で優位性を示すか？
• RQ4 条件付き勾配法の内蔵的スパarsityバイアスは、明示的なしきい値処理や ℓ0 正則化に比べ、より正確で構造的に整合性のあるモデルを生成できるか？
• RQ5 酵素動力学のような複雑な系において、低データ環境下でも真のダイナミクスを保持しながら、高い性能を維持できるか？

主な発見

• CINDy は、SINDy や FISTA、IPM よりも顕著にスパースな解を達成し、高ノイズ下では基底関数の選択数が最大90%減少する（スパarsity メトリック 𝒮_E で測定）。
• ノイズレベルが 10⁻³ 未満の範囲では、CINDy と CINDy(c) が回復誤差（ℰ_R/η）、ダイナミクス誤差（ℰ_D/η）、軌道誤差（ℰ_T/η）のすべての指標で他手法を上回る。
• 積分形式において、最高のノイズレベル（η = 10⁻²）でも、CINDy と CINDy(c) は平均して1つ未満の正しい基底関数を落とすが、SINDy や IPM は利用可能なすべての基底関数を選択する。
• Michaelis-Menten モデルにおいて、CINDy は保存則（例：d/dt(x_E + x_ES) = 0 および d/dt(x_S + x_ES + x_P) = 0）を適切に強制し、物理的に整合性のあるダイナミクスを実現した。
• 酵素動力学の例では、η = 10⁻³ でも CINDy が真のダイナミクスをほぼ完璧に回復し、予測軌道のずれも最小限に抑えられた。
• 導関数推定に次数8の多項式補間を用いることで、あらゆるノイズレベルで正確なダイナミクス回復が可能となり、導関数近似による性能劣化は観察されなかった。