[論文レビュー] Applications of the Deep Galerkin Method to Solving Partial Integro-Differential and Hamilton-Jacobi-Bellman Equations

Ali Al-Aradi, Adolfo Correia+3 more|arXiv (Cornell University)|Nov 30, 2019

Model Reduction and Neural Networks参考文献 20被引用数 10

ひとこと要約

この論文は、確率的最適制御およびマクロフィールドゲームに現れる困難な偏積分微分方程式（PIDE）およびハミルトニアン・ジョルダン・ベルマン（HJB）方程式を解くために、Deep Galerkin Method（DGM）を拡張する。解の再パrameter化として、正規化されたニューラルネットワークの指数関数として定式化することで、正の制約および単位積分制約を強制し、DGMをHJB方程式の原始的形態に拡張して、交互に最適化する確率的勾配降下法により、価値関数と最適制御のネットワークを同時に学習する。

ABSTRACT

We extend the Deep Galerkin Method (DGM) introduced in Sirignano and Spiliopoulos (2018) to solve a number of partial differential equations (PDEs) that arise in the context of optimal stochastic control and mean field games. First, we consider PDEs where the function is constrained to be positive and integrate to unity, as is the case with Fokker-Planck equations. Our approach involves reparameterizing the solution as the exponential of a neural network appropriately normalized to ensure both requirements are satisfied. This then gives rise to a partial integro-differential equation (PIDE) where the integral appearing in the equation is handled using importance sampling. Secondly, we tackle a number of Hamilton-Jacobi-Bellman (HJB) equations that appear in stochastic optimal control problems. The key contribution is that these equations are approached in their unsimplified primal form which includes an optimization problem as part of the equation. We extend the DGM algorithm to solve for the value function and the optimal control simultaneously by characterizing both as deep neural networks. Training the networks is performed by taking alternating stochastic gradient descent steps for the two functions, a technique similar in spirit to policy improvement algorithms.

研究の動機と目的

• Fokker-Planck方程式に見られるような正の制約および単位積分制約を伴うPDEを解く課題に対処すること。
• 非局所的積分項を含む偏積分微分方程式（PIDE）を扱えるように、Deep Galerkin Methodを拡張すること。
• 埋め込まれた最適化問題を含む、簡略化されていない原始的形態のハミルトニアン・ジョルダン・ベルマン（HJB）方程式を直接解くこと。
• 深層ニューラルネットワークを用いて、確率的制御問題における価値関数と最適制御を同時に学習すること。
• ポリシー改善アルゴリズムにインspiredされた、価値関数と制御ポリシーのネットワークを交互に最適化する訓練戦略を開発すること。

提案手法

• 解を正規化されたニューラルネットワークの指数関数として再パラメータ化し、正の制約および単位積分制約を満たすようにすることで、Fokker-Planck型PDEにおける制約の満たし方を可能にする。
• PIDEにおける積分項を、訓練中の効率的な数値評価を可能にするために重要度サンプリングを用いて処理する。
• HJB方程式をその原始的形態として定式化し、制御入力の最適化を方程式構造そのものに保持する。
• 価値関数と最適制御を別々の深層ニューラルネットワークとして表現することで、連携学習を可能にする。
• 交互に確率的勾配降下法を実装する：まずHJBの残差からの勾配を用いて価値関数ネットワークを更新し、次に最適性条件からの勾配を用いて制御ネットワークを更新する。
• ドメイン内のランダムにサンプリングされたコロケーション点におけるPDEおよびHJB方程式の残差を最小化する損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 正の制約および単位積分制約を伴う制約付きPDE（例：Fokker-Planck方程式）を解くために、Deep Galerkin Methodを拡張できるか？
• RQ2 深層学習フレームワーク内で、PIDEに含まれる非局所的積分項をどのように効率的に処理できるか？
• RQ3 最適化が埋め込まれたままのHJB方程式の原始的形態を、深層ニューラルネットワークを用いて直接解くことができるか？
• RQ4 深層学習の文脈において、価値関数と最適制御ポリシーを交互最適化により同時に学習することが可能か？
• RQ5 提案された交互最適化戦略は、高次元の確率的制御問題において安定的かつ正確な解をもたらすか？

主な発見

• 正規化されたニューラルネットワークの指数関数としての解の再パラメータ化により、Fokker-Planck方程式における正の制約および単位積分制約が効果的に満たされた。
• 重要度サンプリングにより、PIDEにおける積分項の訓練中における正確かつ効率的な近似が可能になった。
• 最適化構造を簡略化せずに、HJB方程式の原始的形態に対する正確な解が得られた。
• 価値関数ネットワークと制御ネットワークに対する交互最適化手順により、安定した収束と改善されたポリシー学習が達成された。
• 古典的手法が次元の呪いにより失敗する高次元の確率的制御問題に対しても、本手法は有効であることが示された。
• フレームワークにより、制御則に関する事前知識が不要な状態で、データからエンド・ツー・エンドで価値関数と最適制御ポリシーを同時に学習可能となった。