[論文レビュー] Deep learning method for solving stochastic optimal control problem via stochastic maximum principle.

Shaolin Ji, Shigē Péng+2 more|arXiv (Cornell University)|Jul 5, 2020

Model Reduction and Neural Networks参考文献 6被引用数 1

ひとこと要約

本稿では、確率的最適制御問題を解くためのディープラーニングフレームワークを提案する。ストキャスティック最大原理を活用して、二次的終端損失を用いて問題を再定式化することで、追加の最大条件が加わっても、神経ネットワークの効率的訓練が可能になる。この手法は、線形二次（LQ）制御およびG期待値問題において、有望な数値結果を得て検証された。

ABSTRACT

In this paper, we aim to solve the stochastic optimal control problem via deep learning. Through the stochastic maximum principle and its corresponding Hamiltonian system, we propose a framework in which the original control problem is reformulated as a new one. This new stochastic optimal control problem has a quadratic loss function at the terminal time which provides an easier way to build a neural network structure. But the cost is that we must deal with an additional maximum condition. Some numerical examples such as the linear quadratic (LQ) stochastic optimal control problem and the calculation of G-expectation have been studied.

研究の動機と目的

• 複雑な確率的最適制御問題をディープラーニングを用いて解く課題に対処すること。
• 元の制御問題を、神経ネットワークの実装が容易になる二次損失関数を用いた新たな形式に再定式化すること。
• ストキャスティック最大原理によって導入される追加の最大条件を、再定式化された問題で取り扱うこと。
• 線形二次（LQ）制御およびG期待値計算などのベンチマーク問題において、フレームワークの有効性を示すこと。

提案手法

• ストキャスティック最大原理を用いてハミルトニアン系を導出することで、確率的最適制御問題を再定式化する。
• 元の問題を、終端時における二次損失関数を有する新たな確率的最適制御問題に変換する。
• ストキャスティック最大原理から得られる最大条件を、神経ネットワークの訓練プロセスにおける制約として組み込む。
• 二次的終端損失を最小化することで、最適制御および状態軌道を学習する神経ネットワークアーキテクチャを設計する。
• ストキャスティック最大原理から導かれた最大条件を尊重しながら、数値最適化を用いてネットワークを訓練する。
• 本フレームワークを、線形二次（LQ）確率的制御およびG期待値の計算といった具体的な問題の解決に適用する。

実験結果

リサーチクエスチョン

• RQ1 ストキャスティック最大原理をディープラーニングと効果的に組み合わせることで、確率的最適制御問題を解くことができるか？
• RQ2 終端時における二次的損失関数を用いた問題の再定式化は、確率的制御のための神経ネットワーク訓練をどのように改善するか？
• RQ3 再定式化された問題に最大条件を導入することで生じる課題は何か？ そして、ディープラーニングフレームワーク内でそれらをどのように解決できるか？
• RQ4 この手法は、LQ制御やG期待値計算といったベンチマーク問題をどれほど正確に解くことができるか？
• RQ5 従来の数値的手法と比較して、本手法の性能および安定性はどの程度か？

主な発見

• 二次的終端損失を用いた再定式化により、確率的最適制御のための神経ネットワークの訓練がより安定的かつ効率的に行えるようになった。
• ストキャスティック最大原理から得られる最大条件の組み込みが、学習された制御方策の最適性を保証するために不可欠である。
• フレームワークは線形二次（LQ）確率的最適制御問題を効果的に解き、収束性と精度を示した。
• 本手法は、古典的手法では取り組みにくい非線形期待値であるG期待値の計算に対しても有効であった。
• 数値実験により、ストキャスティック最大原理に基づくディープラーニングアプローチがベンチマーク問題において競争力のある性能を達成することが確認された。
• 本手法は、複雑な確率的最適制御問題を解くための従来の数値手法の実用的代替手段を提供する。