[論文レビュー] Non-asymptotic and Accurate Learning of Nonlinear Dynamical Systems

Yahya Sattar, Samet Oymak|arXiv (Cornell University)|Feb 20, 2020

Model Reduction and Neural Networks参考文献 56被引用数 16

ひとこと要約

本稿では、単一の有限軌道からの勾配降下法を用いた非線形力学系の学習に対して、漸近的でない保証を提示する。安定化ポリシー下での混合時間の議論を活用することで、時間的に依存するサンプルを有効なi.i.d.近似に変換し、ノイズに敏感な一様収束バインディングを可能にした。これにより、エントリごとの活性化関数を有する非線形力学系の高精度・低サンプル複雑性学習が保証される。

ABSTRACT

We consider the problem of learning stabilizable systems governed by nonlinear state equation $h_{t+1}=ϕ(h_t,u_t;θ)+w_t$. Here $θ$ is the unknown system dynamics, $h_t $ is the state, $u_t$ is the input and $w_t$ is the additive noise vector. We study gradient based algorithms to learn the system dynamics $θ$ from samples obtained from a single finite trajectory. If the system is run by a stabilizing input policy, we show that temporally-dependent samples can be approximated by i.i.d. samples via a truncation argument by using mixing-time arguments. We then develop new guarantees for the uniform convergence of the gradients of empirical loss. Unlike existing work, our bounds are noise sensitive which allows for learning ground-truth dynamics with high accuracy and small sample complexity. Together, our results facilitate efficient learning of the general nonlinear system under stabilizing policy. We specialize our guarantees to entry-wise nonlinear activations and verify our theory in various numerical experiments

研究の動機と目的

• 単一の有限軌道からの非線形力学系の学習における非漸近的サンプル複雑性の課題に取り組む。
• 従来の研究がノイズ依存性を無視していたのに対し、経験的勾配に対するノイズに敏感な一様収束保証を新たに開発する。
• エントリごとの非線形活性化関数（例：ReLU）を有する非線形系における勾配降下法の収束性とサンプル複雑性の境界を確立する。
• 非線形力学系における数値実験を通じて理論的結果の妥当性を検証する。

提案手法

• 安定化入力ポリシー下で、単一の軌道からの時間的に依存するサンプルをi.i.d.サンプルに近似するための混合時間の議論を用いる。
• ノイズを明示的に考慮した勾配の経験的損失に対する新しい一様収束境界を導入し、高精度な学習を可能にする。
• 線形および非線形力学系（ReLUなどのエントリごとの非線形活性化関数を有する系を含む）にフレームワークを適用する。
• 濃度不等式とシステムの状態遷移ダイナミクスの固有値特性を用いて、サンプル複雑性の境界を導出する。
• システムの安定性とノイズレベルに依存する学習率を有する勾配降下法アルゴリズムを適用し、真のダイナミクスへの収束を保証する。
• 軌道長と混合時間に関する確率的境界を用いて、反復の高確率収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法は、単一の有限軌道からの非線形力学系の学習において、非漸近的かつ高精度な学習を達成できるか？
• RQ2 システムの軌道における時間的依存性は、どのように効果的に処理され、i.i.d.に近い統計的保証を可能にするか？
• RQ3 ノイズを解析に明示的に組み込むと、非線形ダイナミクスの学習における最適なサンプル複雑性は何か？
• RQ4 システムの混合時間と安定性の性質は、勾配ベースの学習の収束性と一般化性能にどのように影響を与えるか？
• RQ5 エントリごとの非線形活性化関数を有する非線形システムの学習における理論的サンプル複雑性と反復複雑性の境界は何か？

主な発見

• 非線形システムの学習におけるサンプル複雑性は、$ N \gtrsim \frac{C_{\rho}^4}{\gamma^4(1-\rho)^4} \log^2(3(1+\sigma)n + 3C_{\rho}(1+\sigma)\|\bm{\Theta}_\star\|_F n^{3/2} \log^{3/2}(2T)N/(1-\rho) + 3)n $ で有界であり、高確率収束を保証する。
• 近似混合時間は $ L = \left\lceil 1 + \frac{\log(CC_{\rho}(1+\|\bm{\Theta}_\star\|_F\beta_+)Nn)}{1-\rho} \right\rceil $ であり、これは有効なi.i.d.サンプリング窓を決定する。
• 勾配降下法の反復は、レート $ \left(1 - \frac{\gamma^4(1-\rho)^4}{512C_{\rho}^4n^2}\right)^\tau $ で真のパラメータに線形収束する。安定性のもとで高速収束が保証される。
• 残差誤差項は、$ N \gtrsim \frac{C_{\rho}^4}{\gamma^4(1-\rho)^4} \log^2(\cdots)n $ のとき $ \lesssim \sigma $ で有界であり、ノイズが存在する状況でも高精度な学習を示している。
• 理論的境界は数値実験により検証され、ReLU型非線形性を有するシステムにおいて、理論的予測と実効性能が良好に一致している。
• 従来の研究がノイズ感受性を無視していたのに対し、本フレームワークはシステムパラメータおよびノイズに最適な依存性を達成し、性能を向上させている。