[論文レビュー] Learning Stable Deep Dynamics Models

Gaurav Manek, J. Zico Kolter|arXiv (Cornell University)|Jan 17, 2020

Model Reduction and Neural Networks参考文献 18被引用数 55

ひとこと要約

本論文は、ダイナミクスモデルと凸かつ正定値なリャポノフ関数を共同で学習することにより、グローバルに安定となるニューラルネットワークダイナミクスを学習する方法を提示し、動画テクスチャを含む単純および複雑なダイナミクスの安定なモデリングを可能にします。

ABSTRACT

Deep networks are commonly used to model dynamical systems, predicting how the state of a system will evolve over time (either autonomously or in response to control inputs). Despite the predictive power of these systems, it has been difficult to make formal claims about the basic properties of the learned systems. In this paper, we propose an approach for learning dynamical systems that are guaranteed to be stable over the entire state space. The approach works by jointly learning a dynamics model and Lyapunov function that guarantees non-expansiveness of the dynamics under the learned Lyapunov function. We show that such learning systems are able to model simple dynamical systems and can be combined with additional deep generative models to learn complex dynamics, such as video textures, in a fully end-to-end fashion.

研究の動機と目的

• ロボティクス、制御、予測において、証明可能な安定性を持つ学習済みダイナミクス系の必要性を動機づける。
• リャポノフ関数をダイナミクスモデルに統合して、安定性を全体にわたって保証する方法を提案する。
• 物理システム（例：nリンクの単振り子）や動画テクスチャの潜在ダイナミクスを学習する際にこのアプローチを実証する。
• 安定なダイナミクスをエンドツーエンド学習のためにVAEなどの大規模アーキテクチャと統合する方法を示す。

提案手法

• 名目ダイナミクスモデル f̂ と正定値リャポノフ関数 V を定義する。
• 学習されたダイナミクスを ∇V(x)ᵀf(x) ≤ −αV(x) となる半空間へ f̂ を射影することで制約を課す。
• V を入力凸ニューラルネットワーク（ICNN）として表現し、局所最適解と凸性を保証する。
• V(0)=0 を満たし、厳密な正定性を確保するために小さな ε||x||² 項を追加する。
• V を連続的に微分可能に保つために、微分可能で滑らかな活性化を使用する。
• 強い凸性を緩和するために、可逆関数 F による歪んだ入力空間をオプションで許可する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークのダイナミクスモデルを、すべての状態に対してグローバルに指数安定に学習できるか？
• RQ2 リャポノフ関数をダイナミクスと同時に学習することは、非線形システムに対して実際に安定性を保証するか？
• RQ3 高次元の潜在空間にスケールして、動画テクスチャのような複雑な出力に対してVAEなどのエンドツーエンドアーキテクチャへ統合できるか？
• RQ4 安定なダイナミクスモデルは、単純で不安定なモデルと比べて、nリンクの振り子のような物理システムでどのように長時間誤差を低減するか？

主な発見

• 提案された f は f̂ の射影から成り、∇V(x)ᵀf(x) ≤ −αV(x) をすべての x に対して満たし、原点へのグローバル指数安定性を保証する。
• V は凸性と局所最適解の不在を確保する ICNN として実装され、正規化項のため 0 が唯一の最小値となる。
• 乱択なネットワーク、nリンクの振り子、高次元潜在動画テクスチャダイナミクスで安定した学習ダイナミクスが示される。
• 振り子の場合、安定モデルはエネルギー整合的な挙動を維持し、単純で不安定なモデルと比較して長期的誤差を低減する。
• 動画テクスチャ生成では、安定ダイナミクスをVAEと統合することで、Naiveモデルの発散に対して多様で長期のフレームを得られる。