[論文レビュー] Deep neural network approximation for high-dimensional parabolic Hamilton-Jacobi-Bellman equations

Philipp Grohs, Lukas Herrmann|arXiv (Cornell University)|Mar 9, 2021

Model Reduction and Neural Networks被引用数 4

ひとこと要約

この論文は、制御変数に関して線形であり、コスト関数が制御変数に関して二次的で、制御値が有界である条件下で、深層ニューラルネットワーク（DNN）が次元の呪いを伴わずに高次元の放物型ハミルトニアン・ジャコビ・ベルマン（HJB）方程式の解を近似できることを示している。主な結果は、ReLUおよびReCU DNNが、逆精度および次元に関して多項式的に増加するサイズでこの近似を達成できることを示す構成的証明である。これにより、高次元確率的最適制御問題の効率的数値解法が可能になる。

ABSTRACT

The approximation of solutions to second order Hamilton--Jacobi--Bellman (HJB) equations by deep neural networks is investigated. It is shown that for HJB equations that arise in the context of the optimal control of certain Markov processes the solution can be approximated by deep neural networks without incurring the curse of dimension. The dynamics is assumed to depend affinely on the controls and the cost depends quadratically on the controls. The admissible controls take values in a bounded set.

研究の動機と目的

• 確率的最適制御に由来する高次元放物型HJB方程式を解く際の次元の呪いを克服すること。
• このような方程式に対して、深層ニューラルネットワークが、次元に指数関数的に依存するコストを伴わずに、値関数およびその勾配を近似できることを確立すること。
• 制御問題の構造的仮定の下で、DNN近似の多項式的依存関係（次元および精度に関して）を示す構成的証明を提供すること。
• 非線形PDEに一般化されたDNN近似理論を、勾配に依存する非線形性を有するHJB方程式に拡張すること。
• DNNを用いた実用的高次元最適制御の可能性を検証し、次元に依存しない近似誤差の上限を証明すること。

提案手法

• 著者らは、Feynman-Kac公式を用いたHJB解の確率的表現と確率的制御理論を組み合わせ、値関数を制御された拡散過程の期待値として表現する。
• 滑らかなカットオフ関数χを用いた局所化技術を適用し、解を局所的な球体に制限することで、局所的正則性推定の適用を可能にする。
• 証明は、放物型PDEのSobolevおよびHölder正則性理論に依拠し、局所化された解およびその微分が空間時間においてHölder連続であることを示す。
• PDEの右辺に対して滑らか化手順（mollification）を適用し、滑らかな近似列を構成することで、Hölderノルム内での収束を保証する。
• 滑らか化された解の$C^{1,2}$-Hölder空間内での収束が、正則性推定を用いて確立され、これにより元の解が任意の点で$C^{1,2}$-正則性を有することが証明される。
• 最終的なDNN近似の構成は、ReLUおよびReCUネットワークがHölder連続関数を、逆精度および次元に関して多項式的に増加するサイズで表現できることに依拠する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、次元の呪いを伴わずに高次元放物型HJB方程式の解を近似できるか？
• RQ2 制御変数に関してアフィン型の力学と二次的コストを持つ構造が、DNNによる次元に依存しない近似レートを可能にするか？
• RQ3 HJB方程式に内在する、値関数の勾配に依存する非線形性を、ReLUおよびReCU深層ニューラルネットワークが効果的に捉えることができるか？
• RQ4 このようなHJB問題に対して、DNNのサイズが逆精度および次元に関して多項式的に増加するが、指数関数的に増加するのではなく、構築可能か？
• RQ5 値関数およびその勾配の正則性を活用して、証明可能な誤差上限を持つ構成的DNN近似スキームを構築できるか？

主な発見

• 与えられた仮定の下で、HJB方程式の値関数が空間時間において$C^{1,2}$-正則性を有することが示され、滑らかな近似技法の適用が可能になる。
• ReLUおよびReCU活性化関数を用いた深層ニューラルネットワークによって、HJB方程式の解が近似可能であり、ネットワークサイズが$\varepsilon^{-1}$および次元$d$に関して多項式的に増加する一方で、逆精度$\varepsilon$の近似誤差を達成でき、古典的手法の指数的コストを回避する。
• 証明により、近似が空間次元$d$に関して指数的スケーリングに依存しないことが示され、次元の呪いが克服されたことが裏付けられる。
• 滑らかなデータを有する滑らか化されたPDEの系列に依拠し、その解が$C^{1,2}$-Hölderノルム内に収束することが保証され、滑らかな極限の存在が保証される。
• 最終的なDNN近似は、ReLUおよびReCUネットワークの合成と加算により構築され、必要なHölder連続関数を制御されたサイズで表現可能である。
• この結果は、アフィンおよび二次的構造的仮定の下で、深層学習手法が高次元確率的最適制御問題に対して理論的に有効であることを確認する。