[論文レビュー] Neural Stochastic Control

Jingdong Zhang, Qunxi Zhu+1 more|arXiv (Cornell University)|Sep 15, 2022

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、確率的微分方程式（SDEs）に従う力学的システムを安定化するために、確率的ラプラウン理論を活用する2つのニューラル確率的制御フレームワーク—指数的安定化器（ES）と漸近的安定化器（AS）—を提案する。ESは指数的収束を保証するが、より長い訓練を要する。一方ASは漸近的安定性を確保しつつ、高速な訓練を可能にし、ヴァン・デル・ポール振動子、結合されたシュトラウス＝ランドウ系、および細胞運命ダイナミクスといった物理的システムにおいて、収束速度と計算効率の面で補完的な利点を示す。

ABSTRACT

Control problems are always challenging since they arise from the real-world systems where stochasticity and randomness are of ubiquitous presence. This naturally and urgently calls for developing efficient neural control policies for stabilizing not only the deterministic equations but the stochastic systems as well. Here, in order to meet this paramount call, we propose two types of controllers, viz., the exponential stabilizer (ES) based on the stochastic Lyapunov theory and the asymptotic stabilizer (AS) based on the stochastic asymptotic stability theory. The ES can render the controlled systems exponentially convergent but it requires a long computational time; conversely, the AS makes the training much faster but it can only assure the asymptotic (not the exponential) attractiveness of the control targets. These two stochastic controllers thus are complementary in applications. We also investigate rigorously the linear controller and the proposed neural stochastic controllers in both convergence time and energy cost and numerically compare them in these two indexes. More significantly, we use several representative physical systems to illustrate the usefulness of the proposed controllers in stabilization of dynamical systems.

研究の動機と目的

• システムのモデルが部分的に未知である場合に、固有のランダムネスと不確実性を有する確率的力学的システムを安定化する課題に対処すること。
• 古典的な線形化に基づく手法では到達できない非線形かつ確率的システムを安定化できる、ニューラルネットワークベースの制御方策を開発すること。
• 収束時間とエネルギー消費コストの観点から、ニューラル確率的制御と古典的線形制御の理論的・実験的比較を提供すること。
• セル運命ダイナミクスのようなシステムにおけるモデルフリー制御を可能にするために、ニューラルODEを用いたデータ駆動型設定へのフレームワークの拡張。
• 提案された制御器が、現実世界に実装可能な代表的物理的システムにおいて実用的効果を示すことを実証すること。

提案手法

• 確率的ラプラウン理論に基づく指数的安定化器（ES）と、確率的漸近的安定性理論に基づく漸近的安定化器（AS）という2つのニューラル確率的制御フレームワークを提案。ESは指数的収束を実現し、ASは高速な訓練を可能にする。
• 全結合フィードフォワードニューラルネットワーク（FNNs）を用いて、SDEのドリフト項と拡散項を変更する制御関数 $\bm{u}_f$ と $\bm{u}_g$ を学習：$\mathrm{d}\bm{x} = [f(\bm{x}) + \bm{u}_f(\bm{x})]\mathrm{d}t + [g(\bm{x}) + \bm{u}_g(\bm{x})]\mathrm{d}B_t$。
• 入力凸ニューラルネットワーク（ICNNs）および二次形式ニューラルネットワークを用いて、ニューラルラプラウン関数が正定値かつ凸であることを保証し、安定性の証明を可能にする。
• 時系列データから基礎となるベクトル場 $\hat{f}$ を学習するために、ニューラルODE（NODEs）を用いたデータ再構成を統合し、動的システムのモデルが未知である状況でもモデルフリー制御を実現。
• 理論的分析を用いて、線形制御とニューラル確率的制御の両方の収束時間とエネルギー消費コストを推定し、定量的比較を可能にする。
• ベンチマークシステム（ヴァン・デル・ポール振動子、結合されたシュトラウス＝ランドウ方程式、およびセル運命ダイナミクス）に対して、シミュレーションおよび軌道追従制御を用いてフレームワークを検証。

実験結果

リサーチクエスチョン

• RQ1 ニューラル確率的制御は、確率的力学的システムにおいて、収束時間とエネルギー消費コストの両面で古典的線形制御を上回ることができるか？
• RQ2 SDEsの文脈において、ESとASフレームワークは、収束速度、訓練時間、安定性保証の観点でどのように比較できるか？
• RQ3 時間系列データとニューラルODEを用いて、提案されたニューラル確率的制御をモデルフリー設定に拡張できるか？
• RQ4 確率的システムにおいて、制御方策、ラプラウン関数、収束速度の理論的関係は何か？
• RQ5 同調する振動子系やセル運命意思決定のような複雑な物理的システムの安定化において、このフレームワークはどの程度有効か？

主な発見

• テストされたシステム全体において、ニューラル確率的制御フレームワーク（ESおよびAS）は、収束時間とエネルギー消費コストの両面で古典的線形制御を上回る性能を達成した。
• ESは指数的安定性を保証するが、著しく長い訓練時間を要する。一方ASは漸近的安定性のみを保証するが、高速な訓練が可能である。
• 結合されたシュトラウス＝ランドウ系では、ASが同期多様体を効果的に安定化し、複雑なネットワークダイナミクスへの有効性を示した。
• セル運命ダイナミクス系では、高次数ノードへのピン留め制御により、安定状態（P2, P3）から不安定な臨界状態（P1）への軌道の再配分に成功した。
• ニューラルODEを用いたデータ駆動型拡張は、ベクトル場を効果的に再構成し、時系列データのみからも有効な制御を可能にした。これにより、モデルフリー適用性が検証された。
• 理論的分析により、特に非線形的かつ確率的状態下において、ニューラル確率的制御器が線形制御よりも優れた収束性とエネルギー効率を達成できることを確認した。