[論文レビュー] Almost Surely Stable Deep Dynamics

Nathan P. Lawrence, Philip D. Loewen+3 more|arXiv (Cornell University)|Mar 26, 2021

Computer Graphics and Visualization Techniques参考文献 39被引用数 8

ひとこと要約

本稿では、モデルアーキテクチャにリャプノフニューラルネットワーク（LNN）を埋め込むことで、証明可能なほとんど確実に安定する挙動を示す深層ニューラルネットワークベースの動的モデルを学習する手法を提案する。決定論的および確率的離散時間システムの両方において、リャプノフ関数の凸性を活用するアプローチと、暗黙の出力層を用いるアプローチの2つを導入し、理論的保証のもとでほとんど確実にグローバル漸近安定性を確保する。

ABSTRACT

We introduce a method for learning provably stable deep neural network based dynamic models from observed data. Specifically, we consider discrete-time stochastic dynamic models, as they are of particular interest in practical applications such as estimation and control. However, these aspects exacerbate the challenge of guaranteeing stability. Our method works by embedding a Lyapunov neural network into the dynamic model, thereby inherently satisfying the stability criterion. To this end, we propose two approaches and apply them in both the deterministic and stochastic settings: one exploits convexity of the Lyapunov function, while the other enforces stability through an implicit output layer. We demonstrate the utility of each approach through numerical examples.

研究の動機と目的

• データ駆動型の深層ニューラルネットワーク（DNN）ベースの動的モデルにおける安定性を保証する課題に取り組むこと、特に確率的かつ離散時間の設定において。
• 安全性が求められる応用分野において、安定性が不可欠であるが、トレーニング後に検証が困難なブラックボックスDNNの限界を克服すること。
• 安定性をトレーニング後に検証するのではなく、モデルアーキテクチャに安定性を内蔵するフレームワークを構築すること。
• マルコフ過程とモーメント条件を用いて、決定論的システムから確率的動的システムへの証明可能な安定性保証を拡張すること。
• 制御や推定に適した、実用的でトレーニング可能かつ解釈可能な安定DNNベースの動的モデルを構築するための方法を提供すること。

提案手法

• 安定性を十分条件により強制するため、動的モデルにニューラルネットワークベースのリャプノフ関数 $ V $ を埋め込む。その条件は、$ \mathbb{E}[V(\bm{x}_{t+1}) \mid \bm{x}_t] - V(\bm{x}_t) \leq -\alpha V(\bm{x}_t) $ ほぼ確実に成り立ち、$ \alpha > 0 $ である。
• 凸性に基づく手法では、リャプノフ関数の凸性を強制することで、制約付きバックプロパゲーションによる閉形式最適化と安定なトレーニングを可能にする。
• 暗黙の手法では、次の状態をリャプノフ減少条件を満たす1次元の根を求めることで暗黙的に定義する。
• 状態過程にマルコフ性を仮定することで、確率的リャプノフ定理を適用し、$ V $ の期待値の減少からほぼ確実な漸近安定性を導出する。
• 確率的システムへ拡張するため、遷移分布をミックスチャネル密度ネットワーク（MDN）でモデル化し、$ V(\bm{\mu}_{t+1}) \leq \beta V(\bm{x}_t) $ かつ $ \beta < 1 $ を満たすように制約を課すことで安定性を確保する。
• 観測された状態遷移 $ (\bm{x}_t, \bm{x}_{t+1}) $ を用いて、リャプノフ関数が安定性条件を満たすように、モデルをエンドツーエンドでトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 離散時間の確率的システムにおいて、証明可能なほとんど確実に安定する挙動を示す深層ニューラルネットワークベースの動的モデルを学習できるか？
• RQ2 DNNアーキテクチャにリャプノフ関数をどのように埋め込むことで、安定性を構築段階で保証できるか？
• RQ3 決定論的および確率的設定の両方において、リャプノフ減少条件を効果的かつ計算的に効率よく強制する方法は何か？
• RQ4 リャプノフ関数の凸性を活用することで、深層動的モデルの閉形式で安定なトレーニングが可能になるか？
• RQ5 複雑な非線形系において、暗黙の出力層手法は凸性に基づくトレーニングと比較して、安定性と精度の面でどのように異なるか？

主な発見

• 凸性に基づく手法は、決定論的システムにおいて安定なモデルを効果的に生成するが、高カーブ性やフラクチュエーションの強い領域では真の軌道から逸脱する可能性がある。
• 暗黙の出力層手法は、状態空間の複雑で変動の激しい領域を効果的にナビゲートし、真の軌道に密接に追従する。
• 確率的システムでは、埋め込みリャプノフ関数を有するMDNベースのモデルが、部分的な軌道でトレーニングされても、ほとんど確実に安定な挙動を維持し、標準的なMDNよりも安定性とサンプルパスの正確性で優れる。
• 安定モデルの負の対数尤度（NLL）性能は、20本の未観測の軌道においても低く保たれ、良好な確率的モデリングと安定性のトレードオフを示している。
• 理論的解析により、期待されるリャプノフ減少条件が $ \alpha > 0 $ で成り立つ場合、原点はほぼ確実にグローバル指数的安定であることが確認された。
• このフレームワークは制御や強化学習へも拡張可能であり、産業応用における安全で解釈可能かつ安定な自律システムの実現に向けた可能性を秘めている。