[論文レビュー] Contraction analysis of nonlinear random dynamical systems

Nicolas Tabareau, Jean-Jacques Slotine|arXiv (Cornell University)|Sep 20, 2013

Control and Stability of Dynamical Systems参考文献 2被引用数 4

ひとこと要約

本稿では、確率的勾配降下法、オシレーター同期、ノイズ環境下でのシステム結合特性の解析に、標準的な微分解析ツールを用いて、非線形確率的力学系への収縮理論の拡張を提案する。ノイズ下での指数的収束を保証する十分条件を確立し、2つの新しい安定性概念、すなわちほとんど確実な収縮と2乗平均における収縮を導入する。

ABSTRACT

In order to bring contraction analysis into the very fruitful and topical fields of stochastic and Bayesian systems, we extend here the theory describes in \cite{Lohmiller98} to random differential equations. We propose new definitions of contraction (almost sure contraction and contraction in mean square) which allow to master the evolution of a stochastic system in two manners. The first one guarantees eventual exponential convergence of the system for almost all draws, whereas the other guarantees the exponential convergence in $L_2$ of to a unique trajectory. We then illustrate the relative simplicity of this extension by analyzing usual deterministic properties in the presence of noise. Specifically, we analyze stochastic gradient descent, impact of noise on oscillators synchronization and extensions of combination properties of contracting systems to the stochastic case. This is a first step towards combining the interesting and simplifying properties of contracting systems with the probabilistic approach.

研究の動機と目的

• 非線形確率的システムの安定性解析ツールの不足に応えるために、決定的収縮理論を確率的微分方程式へ拡張する。
• ノイズ下での異なる収束挙動を捉えるために、確率的収縮の2つの新しい定義、すなわちほとんど確実な収縮と2乗平均における収縮を導入する。
• 伊藤積分の理論的制限を避けるために、確率的微分方程式を用いた実現可能なシミュレーションを保証することで、ノイズ付きシステムの実用的安定性解析を可能にする。
• 確率的勾配降下法、オシレーター同期、ノイズ下でのシステム結合特性といった重要な問題へのフレームワークの適用を示す。
• 収縮系の簡素化された性質と確率的モデリングの間のギャップを、計算的に取り扱える安定性条件を提供することで埋める。

提案手法

• 実現可能な軌道を保証するため、右連続左極限（cadlag）確率過程を用いて、離散時刻および連続時刻の確率的力学系を定義する。
• ほとんど確実な収縮を提案し、ヤコビ行列の固有値のスペクトル特性に基づいて、すべての標本路に対して指数的収束を保証する条件とする。
• 2乗平均における収縮を導入し、状態偏差の期待ノルムの境界を用いて、一意の軌道への2乗平均意味での指数的収束を保証する。
• 有界なノイズと負定値ヤコビ行列の下で、期待軌道が指数的に収束することを示すことにより、確率的勾配降下法への適用を行う。
• ランダムな結合項を有するカップリングされたバン・デル・ポールオシレーターをモデル化し、期待結合強度が閾値を超えると同期が成立することを証明することで、オシレーター同期の解析を行う。
• パrameterの変動法とグロワールド型不等式を用いて、有界なノイズ下での軌道間の期待偏差を境界づけ、安定性の定量的評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 収縮理論を非線形確率的力学系へどのように拡張し、ノイズ下での安定性を解析できるか？
• RQ2 ノイズ下で意味のある収束性を保証するための適切な確率的収縮の定義は何か？
• RQ3 本フレームワークは、ノイズのある勾配を持つ場合でも収束を保証する確率的勾配降下法の解析に適用可能か？
• RQ4 加法的ノイズはカップリングされたオシレーターの同期にどのように影響するか？また、収縮理論はその挙動を予測可能か？
• RQ5 収縮系の結合特性は、確率的場合に一般化可能か？ランダムな摂動下でも安定性が保たれるか？

主な発見

• ほとんど確実な収縮は、ヤコビ行列の最大固有値が一様に負であれば、すべての標本路が共通の軌道へ指数的に収束することを保証する。
• 2乗平均における収縮は、期待偏差がノイズの大きさに比例する項によって有界であることを保証し、一意の軌道への2乗平均意味での指数的収束を実現する。
• 有界なノイズ下で、目的関数のヘッセ行列の固有値が一様に負定値であれば、確率的勾配降下法の期待軌道は指数的に収束する。
• カップリングされたバン・デル・ポールオシレーターにおいて、期待結合強度が1を超えると、大きなノイズ下でもほぼ確実に同期が成立する。
• 有界なノイズ下で、2つの軌道間の偏差は、ノイズレベルと収縮率を含む項によって一様に有界であり、グロワールドの不等式を用いて導出される。
• 本フレームワークにより、伊藤積分の理論的制限を避けることができ、標準的な常微分方程式ソルバーを用いたノイズ付きシステムの実用的シミュレーションと解析が可能になる。