[論文レビュー] Overcoming the curse of dimensionality for some Hamilton--Jacobi partial differential equations via neural network architectures

Jérôme Darbon, Gabriel P. Langlois+1 more|arXiv (Cornell University)|Oct 20, 2019

Model Reduction and Neural Networks参考文献 140被引用数 7

ひとこと要約

本稿は、特定のニューラルネットワークアーキテクチャと高次元におけるハミルトニアン・ジャコビ（HJ）偏微分方程式の粘性解との間の正確な数学的関係を確立する。特定の深層残差ネットワーク（ReLU活性化関数を用いる）が、凸初期データおよびネットワークパラメータから導かれるハミルトニアンを持つHJ偏微分方程式の解を正確に表現できることを証明しており、グリッドフリーでハードウェアに最適化された評価が可能であり、次元の呪いに苦しむことなく実現可能である。

ABSTRACT

We propose new and original mathematical connections between Hamilton-Jacobi (HJ) partial differential equations (PDEs) with initial data and neural network architectures. Specifically, we prove that some classes of neural networks correspond to representation formulas of HJ PDE solutions whose Hamiltonians and initial data are obtained from the parameters of the neural networks. These results do not rely on universal approximation properties of neural networks; rather, our results show that some classes of neural network architectures naturally encode the physics contained in some HJ PDEs. Our results naturally yield efficient neural network-based methods for evaluating solutions of some HJ PDEs in high dimension without using grids or numerical approximations. We also present some numerical results for solving some inverse problems involving HJ PDEs using our proposed architectures.

研究の動機と目的

• 高次元におけるハミルトニアン・ジャコビ（HJ）偏微分方程式を解く際の次元の呪いに対処すること。これは、従来のグリッドベースの数値的手法が高次元で著しく制限を受けるためである。
• グリッド離散化や数値近似を伴わず、HJ偏微分方程式の粘性解を計算するニューラルネットワークベースの手法を開発すること。
• 特定の残差ネットワークアーキテクチャとHJ偏微分方程式解の表現式との間の正確な数学的対応関係を確立すること。
• 最新のAIアクセラレータを活用して、専用のニューラルネットワーク回路を用いてHJ偏微分方程式解を効率的かつハードウェア加速で評価すること。
• 提案されたアーキテクチャを用いてパラメータ推定を実行することで、HJ偏微分方程式に関連する逆問題に対しても拡張すること。

提案手法

• ReLU活性化関数を備えた深層残差ニューラルネットワークのクラスを提案し、それが特定のHJ偏微分方程式の粘性解を正確に符号化できることを示す。
• ネットワークのパラメータ（重みとバイアス）を定義し、HJ偏微分方程式のハミルトニアンと初期条件がネットワークアーキテクチャから直接導かれるようにする。
• Lax--Hopf公式とHopf公式を用いて、ネットワーク層に対応する関数の合成として解の表現を導出する。
• 前向き伝搬によるネットワーク通過によってHJ偏微分方程式の解が正確に計算可能であり、近似を伴わないことを証明する。
• スカラー保存則のエントロピー解とHJ解の勾配との間の同等性を確立し、ネットワークのダイナミクスとPDEの物理的性質を結びつける。
• 入力と時刻におけるネットワーク出力が、ハミルトニアンと初期データを含む最小化・最大化表現を介してHJ偏微分方程式の粘性解に対応することを示す。

実験結果

リサーチクエスチョン

• RQ1 特定のニューラルネットワークアーキテクチャは、高次元におけるハミルトニアン・ジャコビ偏微分方程式の粘性解を正確に表現できるか？
• RQ2 残差ネットワークのパラメータを、HJ偏微分方程式のハミルトニアンと初期条件に正確にマッピングする方法は何か？
• RQ3 ReLU活性化関数を備えた残差ネットワークの前向き伝搬は、グリッド離散化を伴わずHJ偏微分方程式の粘性解を計算できるか？
• RQ4 このアーキテクチャベースの対応関係により、高次元設定においてグリッドフリーでハードウェア最適化されたHJ偏微分方程式解の評価が可能になるか？
• RQ5 このフレームワークは、同じネットワーク構造を用いてHJ偏微分方程式に関連する逆問題を解くために拡張可能か？

主な発見

• ReLU活性化関数を備えた深層残差ネットワークのクラスが、凸初期データおよびネットワークパラメータから導かれるハミルトニアンを持つHJ偏微分方程式の粘性解を正確に計算可能である。
• 解はグリッドベースの離散化を伴わず、前向き伝搬によって計算可能であり、従来の数値的手法に内在する次元の呪いを回避する。
• ネットワークアーキテクチャが、層の重み・バイアスとHJ偏微分方程式のハミルトニアンおよび初期条件との間の直接的な対応関係を通じて、PDEの物理的性質を符号化している。
• TPUやFPGAベースのアクセラレータなどの専用ニューラルネットワークハードウェアを用いて、数値的近似を伴わずHJ偏微分方程式解の評価が効率的に行える。
• 数値的結果により、提案されたニューラルネットワークアーキテクチャを用いてHJ偏微分方程式に関連する逆問題を解くことが実現可能であることが示された。
• 理論的解析により、ネットワーク出力が適切なパrameterizationのもとでLax--Hopf公式を介して粘性解に対応しており、正確な等価性が保証されることを証明した。