[論文レビュー] Learning Deep Stochastic Optimal Control Policies using Forward-Backward SDEs

Marcus A. Pereira, Ziyi Wang+2 more|arXiv (Cornell University)|Feb 11, 2019

Model Reduction and Neural Networks参考文献 40被引用数 25

ひとこと要約

本稿では、前向き・後向き確率微分方程式（FBSDEs）を用いた確率的最適制御のためのディープラーニングフレームワークを提案する。LSTMネットワークを用いて時間的依存性をモデル化し、ギルサノフの定理を用いて効率的な探索を実現する。この手法は、特に制御制約下でも、完全結合ネットワークよりも滑らかでスケーラブルな制御方策を達成し、振り子、カートポール、マルチコプターのシミュレーションで優れた性能を示す。

ABSTRACT

In this paper we propose a new methodology for decision-making under uncertainty using recent advancements in the areas of nonlinear stochastic optimal control theory, applied mathematics, and machine learning. Grounded on the fundamental relation between certain nonlinear partial differential equations and forward-backward stochastic differential equations, we develop a control framework that is scalable and applicable to general classes of stochastic systems and decision-making problem formulations in robotics and autonomy. The proposed deep neural network architectures for stochastic control consist of recurrent and fully connected layers. The performance and scalability of the aforementioned algorithm are investigated in three non-linear systems in simulation with and without control constraints. We conclude with a discussion on future directions and their implications to robotics.

研究の動機と目的

• 不確実性下での非線形システムにおけるスケーラブルで微分可能な確率的最適制御フレームワークの開発。
• 高次元確率的制御における伝統的動的計画法の限界と次元の呪いを克服すること。
• FBSDEに基づく制御において、完全結合ネットワークの代わりに再帰的LSTMを用いることで、制御方策の滑らかさと訓練効率を向上させること。
• 実世界のロボット工学アプリケーションにおいて重要な制御制約を扱えるようにフレームワークを拡張すること。
• 振り子、カートポール、マルチコプターのような複雑なシステムにおいて、現実的なアクチュエータ制限を伴うスケーラビリティと性能を実証すること。

提案手法

• 確率的最適制御のハミルトニアン・ジャコビ・ベルマン（HJB）方程式を再定式化するために、前向き・後向き確率微分方程式（FBSDEs）を用いる。
• 前向きSDEのドリフト項を変更することで、軌道の再重み付けを可能にし、Girsanovの定理を用いて効率的な探索を実現する。
• 時間的依存性を学習するために、各時刻における独立した完全結合ネットワークの代わりに、長短期記憶（LSTM）ネットワークを用いる。
• 後向きSDEの解をニューラルネットワークによる条件付き期待値の推定によって近似する、ディープラーニングベースのアルゴリズムを採用する。
• エンド・トゥ・エンドのバックプロパゲーションにより、制御方策と価値関数を同時に最適化する微分可能アーキテクチャを実装する。
• 制御入力にボックス制約を組み込むことで、ポリシー学習中に制御制約を扱えるようにフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 再帰的アーキテクチャを用いた深層ニューラルネットワークにより、FBSDEに基づく確率的最適制御を効果的に学習できるか？
• RQ2 完全結合層の代わりにLSTMを用いることで、確率的制御における制御方策の滑らかさ、訓練効率、スケーラビリティがどのように向上するか？
• RQ3 制御とノイズの間の制限的な仮定に依存せずに、ギルサノフの定理がFBSDEに基づく制御における探索をどの程度向上できるか？
• RQ4 完全結合ネットワークと比較して、制御制約を伴う高次元非線形システムにおける本手法の性能とスケーラビリティはいかがなものか？
• RQ5 本フレームワークは、非アフィン制御ダイナミクスやLévy型ノイズを伴うシステムへ拡張可能か？

主な発見

• LSTMベースのポリシーは、すべてのタスクにおいて完全結合ネットワークと比較して、少なくとも20％の訓練時間を短縮し、顕著に少ないパラメータ数を用いた。
• LSTMで学習された制御方策は滑らかな制御軌道を生成し、制約下で完全結合ネットワークが示すスパイク的で歯型の制御を回避した。
• 振り子およびカートポールタスクにおいて、LSTMポリシーは分散が低く、特に制約なしの状況下で運動量の扱いが優れていた。
• 2秒の時間スパンを持つマルチコプタータスクにおいて、FCベースのポリシーは100個の別個ネットワークを必要とし、調整が困難であったが、LSTMベースのポリシーは共有重みと高速なグラフ構築により効率的にスケーリングされた。
• マルチコプタータスクにおいて、LSTMポリシーは特にZ方向およびヨー状態において、ターゲット位置および姿勢の追従性が高く、長期的な時間的モデリングが優れているため、FCポリシーを上回った。
• 3つのシステムすべてにおいて制御制約を効果的に処理でき、LSTMベースのポリシーはトルク制限下でも滑らかな制御入力を維持したのに対し、FC対応はそうではなかった。