[論文レビュー] On the Convergence of the SINDy Algorithm

Linan Zhang, Hayden Schaeffer|arXiv (Cornell University)|May 16, 2018

Sparse and Compressive Sensing Techniques参考文献 24被引用数 11

ひとこと要約

本稿は、SINDyアルゴリズムの理論的収束保証を提供し、$β^{0}$-ペナルティ付き最小二乗問題の局所最小解を近似することを証明している。収束の十分条件、収束速度、および1ステップ回復の条件を確立し、経験的観察を裏付け、関連するアルゴリズムへと拡張している。

ABSTRACT

One way to understand time-series data is to identify the underlying dynamical system which generates it. This task can be done by selecting an appropriate model and a set of parameters which best fits the dynamics while providing the simplest representation (i.e. the smallest amount of terms). One such approach is the sparse identification of nonlinear dynamics framework [6] which uses a sparsity-promoting algorithm that iterates between a partial least-squares fit and a thresholding (sparsity-promoting) step. In this work, we provide some theoretical results on the behavior and convergence of the algorithm proposed in [6]. In particular, we prove that the algorithm approximates local minimizers of an unconstrained $\ell^0$-penalized least-squares problem. From this, we provide sufficient conditions for general convergence, rate of convergence, and conditions for one-step recovery. Examples illustrate that the rates of convergence are sharp. In addition, our results extend to other algorithms related to the algorithm in [6], and provide theoretical verification to several observed phenomena.

研究の動機と目的

• 時間系列データからスパース力学系を同定するSINDyアルゴリズムの収束挙動を理論的に分析すること。
• SINDyアルゴリズムが解に収束するための十分条件を確立すること。
• 収束速度を定量的に評価し、真のスパースモデルを1ステップで回復できる条件を特定すること。
• 急速な収束やスパース性の促進といった観察された経験的挙動に対する理論的根拠を提供すること。
• SINDyフレームワーク内の関連するアルゴリズムへ理論的結果を拡張すること。

提案手法

• アルゴリズムは反復的しきい値処理スキームとして定式化される：各ステップで、パラメータ$\lambda$に基づいてサポート集合が更新され、現在のサポート上での最小二乗解が計算される。
• SINDyによって生成される系列が、非制約的な$\ell^{0}$-ペナルティ付き最小二乗問題の最小化列を形成することを示すことにより、手法を分析する。
• SINDyアルゴリズムが$\ell^{0}$-ペナルティ付き問題の局所最小解を近似することを証明することで収束を確立する。
• 理論的収束速度を導出し、正しいスパース解が1回の反復で回復可能な条件（1ステップ回復）を特定する。
• 理論的解析を、$\ell^{1}$-正則化やロバスト回帰を用いるアルゴリズムなどの関連するアルゴリズムへと拡張し、より広範な適用可能性を示す。
• トーマス系を用いた数値実験により、理論的結果を検証し、さまざまなノイズレベル下でも力学系の正確な回復が可能であることを示している。

実験結果

リサーチクエスチョン

• RQ1 SINDyアルゴリズムは意味のある解に収束するか？ もし収束するならば、どのような種類の解を近似するか？
• RQ2 SINDyアルゴリズムの収束を保証する条件は何か？ また、収束速度はどの程度か？
• RQ3 どのような条件下でSINDyアルゴリズムは1ステップで真のスパースモデルを回復できるか？
• RQ4 アルゴリズムの挙動は、元の$\ell^{0}$-ペナルティ付き最適化問題とどのように関係しているか？
• RQ5 理論的結果は、ロバスト正則化やグループスパース正則化を用いる他のSINDyフレームワークの変種へも拡張可能か？

主な発見

• SINDyアルゴリズムは、$\ell^{0}$-ペナルティ付き最小二乗問題の局所最小解を近似する。これにより、その経験的成功の理論的根拠が得られる。
• アルゴリズムは高速に収束し、数値例により確認されたように、理論的収束速度は鋭いものである。
• 特定の条件下、例えば真の解が十分にスパースで、データが特定の非一様性条件を満たす場合、1ステップ回復が可能である。
• 理論的解析により、一般には反復的精錬が必要であることが確認された。単に最小二乗解をしきい値処理するだけでは、正しいスパースモデルを回復できないことがある。
• ノイズ分散$\sigma^2 = 0.1$のトーマス系では、同定されたシステムは真の力学系に非常に近く、誤差$E(x) = 0.0023$であり、係数は2桁の有効数字で正確に再構築されている。
• より高いノイズ（$\sigma^2 = 0.5$）でも、アルゴリズムは定性的に正しいシステムを回復し、$E(x) = 0.0267$の誤差を示しており、長時間にわたるシミュレーションでも軌道は真の力学系に近いまま維持されている。