[論文レビュー] Rectified deep neural networks overcome the curse of dimensionality for nonsmooth value functions in zero-sum games of nonlinear stiff systems

Christoph Reisinger, Yufei Zhang|arXiv (Cornell University)|Mar 15, 2019

Model Reduction and Neural Networks参考文献 57被引用数 36

ひとこと要約

tldr: 本論文は、整流型深層ニューラルネットワークが高次元で剛性のある制御SDEsにおけるノンスムースな価値関数を、ゼロ和ゲームの設定で、多項式（指数的でない）な計算量で近似できることを証明し、次元の呪いを実質的に克服する。 また、これらの結果を関連するKolmogorov PDEの粘性解と結びつける。

ABSTRACT

In this paper, we establish that for a wide class of controlled stochastic differential equations (SDEs) with stiff coefficients, the value functions of corresponding zero-sum games can be represented by a deep artificial neural network (DNN), whose complexity grows at most polynomially in both the dimension of the state equation and the reciprocal of the required accuracy. Such nonlinear stiff systems may arise, for example, from Galerkin approximations of controlled stochastic partial differential equations (SPDEs), or controlled PDEs with uncertain initial conditions and source terms. This implies that DNNs can break the curse of dimensionality in numerical approximations and optimal control of PDEs and SPDEs. The main ingredient of our proof is to construct a suitable discrete-time system to effectively approximate the evolution of the underlying stochastic dynamics. Similar ideas can also be applied to obtain expression rates of DNNs for value functions induced by stiff systems with regime switching coefficients and driven by general Lévy noise.

研究の動機と目的

• SPDE/ PDEの離散化から生じる高次元で剛性のあるSDEに対する価値関数近似問題を動機づけ、正式に定義する。
• ディープニューラルネットワークが次元と精度の多項式的な複雑さでこれらの価値関数を近似できることを示す。
• ネットワーク構築を可能にするため、離散時間ダイナミクスの枠組みと端末コストの二段階近似を開発する。
• 結果を制御SDEに拡張し、関連PDEの粘性解への含意を論じる。

提案手法

• 確率的ダイナミクスの進展を近似するために、適切な離散時間ダイナミクス系を構築する。
• 二段階の端末コスト近似を用いて、二次的に増加するコストに対処する。
• 剛性SDEにおける次元依存誤差を制御するために、部分的に陰的なEuler離散化を適用する。
• 離散時間ダイナミクスとコストファンクショナルを表現するために、整流ニューラルネットワーク（ReLU）を構築する。
• 得られたニューラルネットワークの計算量が次元 d および逆精度 ε に比例して多項式的に増加することを証明する。
• この枠組みを無制御SDEと制御SDEの双方に適用し、Kolmogorov後方PDEの粘性解への関連を示す。

実験結果

リサーチクエスチョン

• RQ1 高次元で剛性のあるSDEに対して、状態次元と精度に対して多項式的複雑さで価値関数を表現できるか？
• RQ2 SDE係数の単調性・正則性条件の下で、ニューラルネットワークはこれらの価値関数に対して次元の呪いを克服できるのか？
• RQ3 離散時間（部分的に陰的）離散化をどのように用いて、剛性SDEの進化を近似するニューラルネットワークを構築できるか？
• RQ4 近似結果は Kolmogorov 後方 PDE および regime-switching や Lévy ノイズ拡張を伴う制御SDE に拡張できるか？

主な発見

• 複数の DNN の族 {ψ_{ε,d}} が存在し、複雑さが ≤ c d^c ε^{-c} で、v_d を L^2(ν_d) において精度 ε で近似する。
• v_d の近似誤差は有限モーメント測度 ν_d に対する L^2 ノルムを用いて測定され、ネットワークは目標 ε を達成する。
• 結果はドリフト・拡散係数の単調性条件の下で成立し、それにより解の正則性と離散化誤差の次元 d に対する多項式的制御が可能になる。
• 系の粘性解を Kolmogorov 後方 PDE の stiff係数を持つ場合、DNN によって多項式的複雑さで近似できるという系論的結果を示す。
• この枠組みは時刻により非同次な非線形係数を許容し、次元依存のリプシッツ定数を許すことで、既存のアファイン係数の結果を拡張する。
• この手法は SPDE の Galerkin 近似や他の剛性のある系に起因する価値関数の次元の呪いを克服する。