[論文レビュー] A neural network based policy iteration algorithm with global $H^2$-superlinear convergence for stochastic games on domains

Kazufumi Ito, Christoph Reisinger+1 more|arXiv (Cornell University)|Jun 5, 2019

Model Reduction and Neural Networks参考文献 45被引用数 14

ひとこと要約

本稿では、複雑な領域における高次元確率的 HJBI 方程式を解くためのニューラルネットワークベースのポリシー反復アルゴリズムを提案する。このスキームを不正確ニュートン法として解釈することにより、グローバルな H²-超線形収束を達成する。この手法はニューラルネットワーク近似とポリシー反復を組み合わせて半線形 PDE を解き、値関数およびフィードバック制御の両方の収束を最適レートで保証する。

ABSTRACT

In this work, we propose a class of numerical schemes for solving semilinear Hamilton-Jacobi-Bellman-Isaacs (HJBI) boundary value problems which arise naturally from exit time problems of diffusion processes with controlled drift. We exploit policy iteration to reduce the semilinear problem into a sequence of linear Dirichlet problems, which are subsequently approximated by a multilayer feedforward neural network ansatz. We establish that the numerical solutions converge globally in the $H^2$-norm, and further demonstrate that this convergence is superlinear, by interpreting the algorithm as an inexact Newton iteration for the HJBI equation. Moreover, we construct the optimal feedback controls from the numerical value functions and deduce convergence. The numerical schemes and convergence results are then extended to HJBI boundary value problems corresponding to controlled diffusion processes with oblique boundary reflection. Numerical experiments on the stochastic Zermelo navigation problem are presented to illustrate the theoretical results and to demonstrate the effectiveness of the method.

研究の動機と目的

• 確率的制御問題に現れる半線形ハミルトン・ジャコビ・ベルマン・イサース方程式を解くためのメッシュフリーな数値スキームの開発。
• 従来の有限差分法や有限要素法における次元の呪いと幾何的複雑性の克服。
• ニューラルネットワークベースのポリシー反復アルゴリズムのグローバル H²収束と超線形収束レートの確立。
• 境界条件として斜交微分条件を扱えるようにこの手法を拡張し、数値解から最適フィードバック制御を構築すること。
• アルゴリズムを不正確な半スムーズニュートン法として解釈することで、収束レートの理論的裏付けを提供すること。

提案手法

• ポリシー反復を用いて、半線形 HJBI 問題を、ディリクレ境界条件または斜交微分境界条件をもつ一連の線形問題に帰着する。
• 各線形部分問題は、多層フィードフォワードニューラルネットワークを試行関数空間として用い、メッシュフリーな近似を実現する。
• アルゴリズムは、HJBI 演算子に対する不正確ニュートン反復として解釈され、一般化微分とクーラウエイク・ニュートン更新が用いられる。
• 不正確な解法を反映するために、摂動付き線形系が構築され、誤差バウンドは消える列 {ηk+1} によって制御される。
• 正則性理論を活用して、楕円型斜交微分問題の枠組みにおいて H²(Ω) 範囲で収束を分析する。
• 値関数のニューラルネットワーク近似の勾配から最適フィードバック制御が導出される。

実験結果

リサーチクエスチョン

• RQ1 複雑な幾何的形状をもつ領域における HJBI 方程式に対して、ニューラルネットワークベースのポリシー反復スキームはグローバル H² 収束を達成できるか？
• RQ2 提案されたアルゴリズムは H² 範囲で超線形収束を示すか？ もしそうであるならば、どのような条件下で成立するか？
• RQ3 この手法は、正規微分境界条件を扱えるように拡張可能であり、収束レートを保持できるか？
• RQ4 線形部分問題の不正確な解法は、ポリシー反復ループ全体のグローバル収束と収束レートにどのように影響するか？
• RQ5 値関数のニューラルネットワーク近似から、信頼性のある最適フィードバック制御を構築できるか？

主な発見

• 数値解は、真の HJBI 方程式の解へ、H²(Ω) 範囲でグローバルに収束する。
• 収束レートは q-超線形であり、反復が進むにつれて誤差が任意の線形レートより速く減少する。
• ポリシー反復を不正確な半スムーズニュートン法として解釈することにより、H²-超線形収束が達成される。
• 適切な正則性条件を満たす限り、斜交微分境界条件下でも収束が保たれる。
• 値関数のニューラルネットワーク近似の勾配から導出されるフィードバック制御は、最適制御に収束する。
• 線形方程式の解法における誤差は、消える列 {ηk+1} によって制御され、不正確ニュートンステップが極限においても有効であることが保証される。