[論文レビュー] Deep Lyapunov Function: Automatic Stability Analysis for Dynamical Systems

Arash Mehrjou, Bernhard Schölkopf|arXiv (Cornell University)|Jan 24, 2019

Model Reduction and Neural Networks参考文献 6被引用数 7

ひとこと要約

本稿では、動的システムのためのリャプノフ関数を自動で発見するための深層学習ベースの手法であるDeep Lyapunov Function (DELF)を提案する。深層ニューラルネットワークを訓練してリャプノフの安定性条件を満たすようにすることで、解析的にリャプノフ関数を構築することが困難な非線形システムに対しても自動安定性解析を可能にする。この手法は、システムの軌道に沿った関数の正定値性とその時間微分の負定値性を強制する損失関数を最小化するために確率的勾配降下法を用いる。

ABSTRACT

Stability analysis plays a crucial role in studying the behavior of dynamical systems with theoretical and engineering applications. Among various kinds of stability, the stability of equilibrium points is of the greatest importance which is mainly studied by Lyapunov's stability theory. This theory requires finding a function with specified properties. Except for a few simple examples, there is no straightforward constructive algorithm to find a Lyapunov function for an arbitrary dynamical system. The goal of this work is proposing a simple yet effective way to approximate this function using deep learning tools.

研究の動機と目的

• 非線形動的システムに対するリャプノフ関数の構築という長年の課題に取り組むこと。これは一般の構成的手法が存在しない。
• 手動でのリャプノフ関数設計を回避するスケーラブルでデータ駆動型の安定性解析手法を開発すること。
• 深層ニューラルネットワークを普遍的関数近似子として活用し、高次元状態空間における有効なリャプノフ関数の探索を行うこと。
• 確率的最適化を用いた実用的で経験的な方法を提供し、自律的動的システムの局所的漸近的安定性を評価すること。

提案手法

• パrameter $ \theta $ を持つ深層ニューラルネットワークを用いて候補となるリャプノフ関数 $ \hat{V}(x;\theta) $ をパラメータ化する。
• 損失関数 $ \mathcal{L}(x;\theta) = h_1(\hat{V}) + h_2(\nabla_x \hat{V}^T f(x)) $ を定義する。ここで $ h_1 $ は正定値性を、$ h_2 $ は微分の負定値性を強制する。
• 有界領域 $ D_r $ からランダムにサンプリングされた点の上での期待損失を最小化するために確率的勾配降下法を用いる。
• 解像度 $ \delta $ の均等なサンプリングを用いて学習データを生成し、サンプル数は $ N \sim (2r/\delta)^d $ のスケーリングに従う。
• 十分なネットワーク容量があると仮定して、最適化プロセスをあらゆる関数の空間への探索と解釈する。
• 損失がゼロに収束しないことを、普遍的近似子の仮定のもとで、システムの不安定性の証拠と解釈する。

実験結果

リサーチクエスチョン

• RQ1 解析的に構築が困難な非線形動的システムに対して、深層学習を効果的にリャプノフ関数の発見に用いることができるか？
• RQ2 深層ニューラルネットワークは、必要な正値性および負の微分条件を満たすリャプノフ関数をどの程度正確に近似できるか？
• RQ3 提案手法の経験的性能は、さまざまな次元性において安定・不安定なシステムをどのように特定できるか？
• RQ4 最適化が損失をゼロに収束させない場合、それが根本的な動的システムの不安定性を信頼性高く示すものか？
• RQ5 理論的保証が限られる状況において、この手法がどの程度信頼できる安定性の洞察を提供できるか？

主な発見

• 本手法は、複数の2次元および3次元の安定な動的システムに対して有効なリャプノフ関数を成功裏に特定した。サンプリングされた軌道全体にわたり、$ \bar{V} $ は常に正であり、$ \bar{\dot{V}} $ は常に負であった。
• 不安定なシステムでは、最適化プロセスが損失をゼロにまで低下させず、$ \bar{V} $ と $ \bar{\dot{V}} $ の軌道に一貫した符号パターンが観察されなかった。これは有効なリャプノフ関数が存在しないことを示唆している。
• 本手法は非線形的で、結合的かつ物理的でないシステムを含む多様なシステムタイプに対して頑健であることが示され、広範な適用可能性を示している。
• 本手法の経験的成果は、深層ネットワークが高次元空間におけるリャプノフ関数の探索に効果的に機能できることを支持する仮説を裏付けている。
• 不安定なケースで損失がゼロに収束しないことは理論的期待と整合しており、本手法がこのような関数が存在しない場合に不安定性を検出できることを示唆している。
• 本手法は、特に複雑なシステムにおいて、手動によるリャプノフ関数構築の実用的でスケーラブルな代替手段を提供する。