[論文レビュー] Safe Optimal Control Using Stochastic Barrier Functions and Deep Forward-Backward SDEs

Marcus A. Pereira, Ziyi Wang+2 more|arXiv (Cornell University)|Sep 2, 2020

Fault Detection and Control Systems参考文献 22被引用数 10

ひとこと要約

本論文は、確率的バリア関数と深層前向き・後向き確率微分方程式（FBSDE）を用いた、安全な確率的最適制御のための新規エンドツーエンド微分可能ディープラーニングフレームワークを提案する。微分可能凸最適化レイヤー（特に安全なQPレイヤー）を深層FBSDEと統合することにより、バックプロパゲーションによるエンドツーエンド学習が可能となり、ほぼ確実な安全性を保証する。この手法は、状態と制御制約を伴う高次元確率的システムにおいて有効であることを示している。

ABSTRACT

This paper introduces a new formulation for stochastic optimal control and stochastic dynamic optimization that ensures safety with respect to state and control constraints. The proposed methodology brings together concepts such as Forward-Backward Stochastic Differential Equations, Stochastic Barrier Functions, Differentiable Convex Optimization and Deep Learning. Using the aforementioned concepts, a Neural Network architecture is designed for safe trajectory optimization in which learning can be performed in an end-to-end fashion. Simulations are performed on three systems to show the efficacy of the proposed methodology.

研究の動機と目的

• 状態および制御制約下での安全性を保証する、スケーラブルで第一原理に基づいた確率的最適制御手法の開発。
• ディープラーニングの表現力と、確率的システムにおける制御バリア関数（CBF）の検証可能で安全な保証の間のギャップを埋めること。
• 深層FBSDEアーキテクチャ内に微分可能凸最適化レイヤーを埋め込むことにより、ニューラルネットワークの軌道最適化のエンドツーエンド学習を可能にすること。
• 拡散過程を伴う一般の確率的システムへと、確率的ゼロリング制御バリア関数（ZCBF）の理論を拡張すること。
• シミュレーションを通じて、安全制約を伴う高次元確率的システムにおけるフレームワークの有効性を実証すること。

提案手法

• フレームワークは、確率的最適制御のハミルトニアン・ジャコビ・ベルマン（HJB）方程式をモデル化するための前向き・後向き確率微分方程式（FBSDE）を用い、ディープラーニングによる解法を可能にする。
• 終端条件および終端勾配を強制する損失関数を用いて、深層ニューラルネットワークが値関数およびその勾配を近似する。
• 各時刻における安全な制御入力を計算するために、微分可能二次計画（QP）レイヤーを埋め込み、確率的バリア関数（sCBF）制約の満たしを保証する。
• sCBFレイヤーは、システムのダイナミクス、ノイズ、バリア関数の微分を組み込んだ、プリマル・デュアル内点法（PDIPM）によるQPを解くことで安全性を強制する。
• 学習プロセスは、終端値、勾配、正則化項を含む損失関数を用いた確率的勾配降下法（Adam）を用いる。
• LSTMおよび全結合層を統合することで、時間依存の値関数のダイナミクスと勾配をモデル化し、時間的一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 プロセスノイズが存在する中で、深層FBSDEに基づく最適制御に確率的バリア関数を効果的に統合し、ほぼ確実な安全性を確保できるか？
• RQ2 深層FBSDE内に微分可能な凸最適化レイヤーを埋め込むことで、安全性制約を保持しつつエンドツーエンド学習を可能にする方法は何か？
• RQ3 提案されたフレームワークは、複雑な状態および制御制約を伴う高次元確率的システムへどの程度スケーラブルに拡張できるか？
• RQ4 FBSDEとsCBFを統合することで、標準的な深層FBSDEコントローラーと比較して安全性および収束特性が向上するか？
• RQ5 最適化およびダイナミクスチェーン全体を通じて、バックプロパゲーションを用いたエンドツーエンド学習が可能か？

主な発見

• 提案されたフレームワークは、深層FBSDEアーキテクチャ内に微分可能なsCBFレイヤーを埋め込むことで、確率的システムにおけるほぼ確実な安全性を成功裏に確保した。
• QPレイヤーおよびFBSDEダイナミクスを介したバックプロパゲーションにより、値関数および制御方策のエンドツーエンド学習が可能となった。
• 3つのシステム、特にマルチエージェントカー系を用いたシミュレーションでは、コントローラーが最適化された軌道を維持しながらも、安全距離（2台分の半径）を保った。
• 損失関数には終端値、勾配、正則化項が含まれており、学習の安定化と収束の改善に寄与した。
• すべてのテストケースにおいて一貫した制約満足度を示したことから、ベースライン手法に比べ、確率的摂動下でも安全制約をより効果的に維持できた。
• PDIPMに基づくQPレイヤーの統合により、各時刻における安全な制御入力の効率的かつ微分可能な計算が可能となった。