[論文レビュー] Extracting structured dynamical systems using sparse optimization with very few samples

Hayden Schaeffer, Giang Tran+2 more|arXiv (Cornell University)|May 10, 2018

Model Reduction and Neural Networks参考文献 25被引用数 8

ひとこと要約

本論文は、非常に少ないサンプル数、不十分にサンプリングされた測定値、およびノイズが混在する可能性のある測定値から構造的で動的なシステムを抽出するためのスパース最適化フレームワークを提案する。バーストサンプリングとデータブロックの巡回置換を活用することで、構造的な測定値を有界な直交系のi.i.d.ランダムサンプリングに変換し、スパース最小二乗法により理論的保証のもとで支配方程式の正確かつ安定な回復を可能にする。低ノイズ下での係数と項の同定に理論的保証が与えられる。

ABSTRACT

Learning governing equations allows for deeper understanding of the structure and dynamics of data. We present a random sampling method for learning structured dynamical systems from under-sampled and possibly noisy state-space measurements. The learning problem takes the form of a sparse least-squares fitting over a large set of candidate functions. Based on a Bernstein-like inequality for partly dependent random variables, we provide theoretical guarantees on the recovery rate of the sparse coefficients and the identification of the candidate functions for the corresponding problem. Computational results are demonstrated on datasets generated by the Lorenz 96 equation, the viscous Burgers' equation, and the two-component reaction-diffusion equations (which is challenging due to parameter sensitives in the model). This formulation has several advantages including ease of use, theoretical guarantees of success, and computational efficiency with respect to ambient dimension and number of candidate functions.

研究の動機と目的

• 極めて限られたサンプル数とノイズの混在するデータから、動的システムの支配方程式を学習する課題に対処すること。
• 高次元の候補関数空間における密な係数解により過学習を引き起こす、従来の最小二乗法の限界を克服すること。
• アンダーサンプリングされたデータからスパースで解釈可能なモデルを特定する、計算的に効率的で理論的根拠を持つ手法を開発すること。
• 部分的に依存する確率変数に対するベルンシュタイン型不等式を用いて、スパース係数と正しい項同定の理論的回復保証を提供すること。
• 最小限のサンプリング要件で、マルチコンポonentおよび空間的に不変な動的システムへのスパースシステム同定の適用範囲を拡張すること。

提案手法

• 時間的連続な短い時間セグメント（バースト）をランダムに選択するバーストサンプリングを用い、データブロックの巡回置換によりi.i.d.サンプルを生成する。
• 巡回置換を適用して、構造的でi.i.d.でない測定値を、有界な直交系のi.i.d.サンプリングに変換する。
• 支配方程式の同定を、候補関数（例：単項式、微分）の巨大な辞書上でのスパース最小二乗問題として定式化する。
• 部分的に依存する確率変数に対するベルンシュタイン型不等式を活用し、コherenctと有界性の条件下で理論的回復保証を導出する。
• ノイズレベルの制御とスパース性を促進する最適化を用いることで、安定性と正確なサポート回復を確保し、誤差とコヒーレンスに関する理論的境界を付与する。
• 辞書のコヒーレンス条件と有界性を満たすことで、理論的分析に必要な構造がサンプリング測度によって保持されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 非常に少数のサンプルしか利用できない状況下で、スパース最適化が動的システムの真の支配方程式を信頼性高く回復できるか？
• RQ2 構造的でi.i.i.d.でないデータ（例：時系列バースト）を、理論的回復保証を可能にするi.i.i.d.サンプリングフレームワークにどのように変換できるか？
• RQ3 ノイズが存在する状況下で、スパース最小二乗法がどのような条件下で正確な係数回復と正しい項同定を達成するか？
• RQ4 バーストサイズとバースト内トラジェクトリ数の間には、最適なシステム同定のためのトレードオフが存在するか？
• RQ5 最小限のサンプリングで、Viscous Burgers方程式や2成分のGray-Scott反応拡散方程式など、複雑でパラメータに敏感なシステムに対して、本手法はどのように性能を発揮するか？

主な発見

• ノイズが十分に低い場合には、真のスパース係数ベクトルの正確な回復と、支配方程式の項の正しい同定が達成される。
• 部分的に依存する確率変数に対するベルンシュタイン型不等式を用いて理論的保証が確立され、コヒーレンスと有界性の条件下で安定的かつ正確な回復が保証される。
• スパース性を考慮しない最小二乗解の相対誤差は顕著に高い—例として、11×11ブロックを用いたBurgers方程式では $E_{c, ext{LS}} = 2.8562$ となり、密な解による過学習が示される。
• Gray-Scott方程式では、辞書サイズが大きくなると最小二乗誤差が著しく増加し、21×21ブロックを用いた $v$-成分では $E_{c, ext{LS}} = 7.7621$ に達する。これは過学習を確認する。
• 提案手法のスパース最適化は、粘性Burgers方程式や2成分のGray-Scott系のような困難なケースでさえも、正しい項を正しく同定する。
• 環境次元や候補関数の数に対して、計算効率性とスケーラビリティを維持し、高次元システムへの応用を可能にする。