[論文レビュー] Deep 2FBSDEs For Systems With Control Multiplicative Noise

Marcus A. Pereira, Ziyi Wang+3 more|arXiv (Cornell University)|Jun 11, 2019

Stochastic processes and financial applications参考文献 39被引用数 7

ひとこと要約

本稿では、制御乗法的ノイズを伴う完全非線形ハミルトニアン・ジョルダン・ベルマン（HJB）偏微分方程式に従う確率的最適制御問題を解くために、長短期記憶（LSTM）再帰的ニューラルネットワークを用いた深層学習ベースのアルゴリズムを提案する。第二階層の前向き・後向き確率的微分方程式（2FBSDEs）を活用することで、従来手法の誤差蓄積およびスケーラビリティの問題を克服し、ロボットおよびバイオメカニカルシステムのシミュレーションにおいて優れた性能と安定性を示した。

ABSTRACT

We present a deep recurrent neural network architecture to solve a class of stochastic optimal control problems described by fully nonlinear Hamilton Jacobi Bellmanpartial differential equations. Such PDEs arise when one considers stochastic dynamics characterized by uncertainties that are additive and control multiplicative. Stochastic models with the aforementioned characteristics have been used in computational neuroscience, biology, finance and aerospace systems and provide a more accurate representation of actuation than models with additive uncertainty. Previous literature has established the inadequacy of the linear HJB theory and instead rely on a non-linear Feynman-Kac lemma resulting in a second order forward-backward stochastic differential equations representation. However, the proposed solutions that use this representation suffer from compounding errors and computational complexity leading to lack of scalability. In this paper, we propose a deep learning based algorithm that leverages the second order Forward-Backward SDE representation and LSTM based recurrent neural networks to not only solve such Stochastic Optimal Control problems but also overcome the problems faced by previous approaches and scales well to high dimensional systems. The resulting control algorithm is tested on non-linear systems in robotics and biomechanics to demonstrate feasibility and out-performance against previous methods.

研究の動機と目的

• 高次元の制御乗法的ノイズを伴う確率的最適制御問題を解く際の線形化手法およびサンプリングベース手法の限界に対処する。
• 非線形HJB PDEに適用される既存のFBSDEベースのソルバーにおける誤差蓄積および計算複雑性の問題を克服する。
• 完全非線形HJB方程式を解くために第二階層のFBSDE表現を活用するスケーラブルな深層学習フレームワークを開発する。
• ロボティクスおよびバイオメカニクス分野の非線形系において、iLQGや標準FBSDEと比較して実行可能で性能が優れたことを実証する。
• 再帰的ネットワークのための新しい初期化戦略を用いて、高次元系における安定な学習を可能にする。

提案手法

• 制御乗法的ノイズを伴う系に対して第二階層の前向き・後向き確率的微分方程式（2FBSDEs）を用いて、確率的最適制御問題を定式化する。これは制御乗法的ノイズを持つ系における非線形Feynman-Kac補題に由来する。
• 2FBSDEシステムの解を近似するために、長短期記憶（LSTM）ユニットに基づく深層再帰的ニューラルネットワークアーキテクチャを設計する。
• 時間離散化された勾配を時間逆伝播法を用いて計算するバックワードSDEダイナミクスに基づく損失関数を用いる。
• 二段階の訓練戦略を実装する：初期段階ではネットワーク重みをゼロに初期化して学習の初期段階での発散を防ぎ、その後適応的学習率を用いて微調整する。
• 学習済みの価値関数および制御関数から、前向き確率的微分方程式をサンプリングすることで制御方策を生成する。
• 低次元系（例：カートポール）ではXavier初期化を適用するが、高次元系（例：クアッドコpter、人間の腕）では学習の安定化のためゼロ初期化に切り替える。

実験結果

リサーチクエスチョン

• RQ1 2FBSDEを用いた深層学習ベースのアプローチは、制御乗法的ノイズを伴う高次元確率的最適制御問題を効果的に解くことができるか？
• RQ2 提案されたLSTMベースの2FBSDEフレームワークは、標準FBSDEソルバーと比較して誤差蓄積を低減するか？
• RQ3 非線形系において、iLQGおよび標準FBSDEと比較して、本手法は制御軌道の分散が低く、より高い安定性を示すか？
• RQ4 どのような初期化戦略が高次元確率的制御問題における深層再帰的ネットワークの安定な学習を可能にするか？
• RQ5 2FBSDEコントローラーは、シミュレーションにおいて制御コストやノイズレベルの変動に対してどのように性能を示すか？

主な発見

• カートポール系において、2FBSDEコントローラーはFBSDEおよびiLQGと比較して、特に制御コストが低い場合（R=0.1）に顕著に低い分散の制御軌道を達成した。
• 6本の筋肉と制御乗法的ノイズを伴う人間の腕のシミュレーションでは、2FBSDEコントローラーは低分散の軌道で目標に到達したが、iLQGは発散した。
• クアッドコプター系では、3秒間の時間枠で2FBSDEが安定したホバリングおよび軌道追従を実現し、FBSDEおよびiLQGと比較して分散が低かった。
• 人間の腕やクアッドコプターなどの高次元系において、深層再帰的ネットワークの学習を安定化させるためにゼロ初期化が不可欠であり、Xavier初期化では収束しなかった。
• 本手法は、ロボティクスおよびバイオメカニクス分野の多様な非線形系において、スケーラビリティとロバスト性に優れ、既存の手法をシミュレーションで上回った。
• 人間の腕実験の位相プロットは、2FBSDEが小さな分散を維持し、目標に到達したのに対し、iLQGは収束しなかったことを確認した。