[論文レビュー] Learning Dynamical Systems and Bifurcation via Group Sparsity

Hayden Schaeffer, Giang Tran+1 more|arXiv (Cornell University)|Sep 5, 2017

Model Reduction and Neural Networks参考文献 38被引用数 16

ひとこと要約

本稿では、異なる分岐パラメータを有する複数のデータソースから力学系の支配方程式を学ぶために、グループスパースな正則化回帰手法を提案する。ℓ²,₁ノルムを用いて複数のソース全体にわたるブロックワイドなスパarsityを強制することで、同時に関連する候補関数の選択とソース固有の係数推定が可能となり、局所的最小値への収束を達成し、理論的保証のもとでデータ駆動型分岐解析が可能となる。

ABSTRACT

Learning governing equations from a family of data sets which share the same physical laws but differ in bifurcation parameters is challenging. This is due, in part, to the wide range of phenomena that could be represented in the data sets as well as the range of parameter values. On the other hand, it is common to assume only a small number of candidate functions contribute to the observed dynamics. Based on these observations, we propose a group-sparse penalized method for model selection and parameter estimation for such data. We also provide convergence guarantees for our proposed numerical scheme. Various numerical experiments including the 1D logistic equation, the 3D Lorenz sampled from different bifurcation regions, and a switching system provide numerical validation for our method and suggest potential applications to applied dynamical systems.

研究の動機と目的

• 物理法則は共有するが分岐パラメータが異なる複数のデータソースから支配方程式を学ぶという課題に対処すること。
• 候補関数の集合が非常に大きい場合に生じる探索の計算的非実行可能性を、モデル選択プロセスにおけるスパarsityの活用によって克服すること。
• パラメータの変動に起因する多様な力学的挙動を示すデータソースにおいて、正確なパラメータ推定とモデル発見を可能にすること。
• 各ソースごとに係数が異なるが、活性化された候補関数の構造は共有されるようなグループスパース最適化フレームワークを構築すること。
• 辞書とデータ構造に関する弱い仮定のもとで、提案された数値スキームの理論的収束保証を提供すること。

提案手法

• 本手法は、候補関数に対応する係数のグループがすべてゼロまたはすべて非ゼロであることを促進するℓ²,₁ノルムを用いたグループスパース最適化フレームワークを採用する。
• 非凸最適化問題を解くために、プライマル・デュアルアルゴリズムが用いられ、係数行列とデュアル変数の反復的更新が、ハードスレッショーディングステップを介して行われる。
• アルゴリズムは、最小二乗更新と、各ソースごとに最も顕著な関数グループを保持するしきい値処理ステップを交互に繰り返す。
• 目的関数の単調減少と係数更新の有界性を示すことで収束を確立し、強制性およびスペクトル仮定のもとで、局所的最小値への収束が保証される。
• 各ソースを別々のデータストリームとして扱い、共通の候補関数と各ソース固有の係数ベクトルを持つことで、複数のソースへの適用が可能となる。
• 理論的分析では、データ行列のスペクトル特性と強制性定数に依存する、係数差の二乗和の上限が得られる。

実験結果

リサーチクエスチョン

• RQ1 グループスパース正則化は、異なる分岐パラメータを有する複数のデータソースにおいて、力学系を支配する正しい候補関数集合を効果的に同定できるか？
• RQ2 力学的挙動が異なるパラメータ領域に跨る場合、例えばカオス的またはスイッチング的システムにおいて、提案手法は支配方程式をどれほど正確に回復できるか？
• RQ3 複数のデータソースからの力学系学習に用いられるグループスパース最適化スキームに対して、どのような収束保証を確立できるか？
• RQ4 パラメータが変動する状況において、単一ソース学習と比較して複数ソースの使用が、モデル回復精度をどの程度向上させるか？
• RQ5 事前に支配方程式を知らずに、本手法はデータから正確に分岐ダイアグラムを再構築できるか？

主な発見

• 提案されたグループスパース手法は、異なる分岐パラメータを有する1次元ロジスティック写像に対して、パラメータ変動に強く、真の支配方程式を的確に回復した。
• 異なる分岐領域から抽出された3次元ローレンツ系において、本手法は活性化された候補関数を正確に同定し、ソース固有の係数を推定でき、データ駆動型分岐解析を可能にした。
• 有界な固有値と支持集合上での辞書の強制性という弱い仮定のもとで、アルゴリズムは局所的最小値に収束することが保証された。
• 数値実験では、複数の力学的レジームにまたがるデータに対して、共通構造をソース間で強制することで、標準的なスパース回帰を上回る性能を示した。
• 収束解析により、係数差の二乗和が有界であることが示され、反復スキームの安定性と収束性が保証された。
• 先行研究で示されたように、グループスパース外れ値検出と組み合わせることで、汚染された区間を含むカオス的システムからのクリアなデータの正確な回復が可能となった。