[論文レビュー] Solving PDEs on Unknown Manifolds with Machine Learning

Senwei Liang, Shixiao W. Jiang+2 more|arXiv (Cornell University)|Jun 12, 2021

Model Reduction and Neural Networks参考文献 110被引用数 7

ひとこと要約

本稿では、点群で表現される未知の多様体上での楕円型PDEを解くためのメッシュフリーでディープラーニングベースのフレームワークを提案する。拡散マップを用いて多様体ラプラシアンを近似し、最小二乗最小化によりニューラルネットワークを訓練する。本手法は、大規模データの極限において真の解に一貫して収束し、十分に広い2層ネットワークでは勾配降下法がグローバル最小値に収束することが保証される。

ABSTRACT

This paper proposes a mesh-free computational framework and machine learning theory for solving elliptic PDEs on unknown manifolds, identified with point clouds, based on diffusion maps (DM) and deep learning. The PDE solver is formulated as a supervised learning task to solve a least-squares regression problem that imposes an algebraic equation approximating a PDE (and boundary conditions if applicable). This algebraic equation involves a graph-Laplacian type matrix obtained via DM asymptotic expansion, which is a consistent estimator of second-order elliptic differential operators. The resulting numerical method is to solve a highly non-convex empirical risk minimization problem subjected to a solution from a hypothesis space of neural networks (NNs). In a well-posed elliptic PDE setting, when the hypothesis space consists of neural networks with either infinite width or depth, we show that the global minimizer of the empirical loss function is a consistent solution in the limit of large training data. When the hypothesis space is a two-layer neural network, we show that for a sufficiently large width, gradient descent can identify a global minimizer of the empirical loss function. Supporting numerical examples demonstrate the convergence of the solutions, ranging from simple manifolds with low and high co-dimensions, to rough surfaces with and without boundaries. We also show that the proposed NN solver can robustly generalize the PDE solution on new data points with generalization errors that are almost identical to the training errors, superseding a Nystrom-based interpolation method.

研究の動機と目的

• 点群データのみが入手可能で、パラメータ化が不明な多様体上での楕円型PDEを解くためのメッシュフリーな数値的手法を開発すること。
• メッシュ生成、RBF、DMベースのソルバーなど、従来手法の制限（補間が必要、計算コストが高いため）を克服すること。
• ニューラルネットワークをPDE解の近似の仮説空間として活用し、新しいデータポイントへの一般化を可能とすること。
• 適切に定式化された楕円型条件の下で、学習ベースのPDEソルバーの理論的収束保証を確立すること。
• 高次元性、粗い表面、境界を有する多様体など、多様な複雑性を持つ多様体においても頑健な性能を示すこと。

提案手法

• PDEの解を、PDEと境界条件を代数的に満たす最小二乗損失関数を最小化する教師あり学習の問題として定式化する。
• 拡散マップ（DM）を用いて、多様体の2階微分作用素を漸近的に近似するグラフラプラシアン行列を構築する。
• PDEを、DMに基づくラプラシアンとニューラルネットワーク出力の行列方程式として数値的に強制するスキームを構築する。
• 正則化を用いて訓練を安定化させながら、勾配降下法を用いて経験的リスクを最小化する深層ニューラルネットワークを訓練する。
• 十分に広い2層ReLUネットワークを用い、経験的損失関数のグローバル最小値に勾配降下法が収束することを保証する。
• 無限に広いまたは深いニューラルネットワークの仮説空間を用いて、大規模データの極限におけるグローバル最小値の一致性を証明する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのニューラルネットワークソルバーは、点群データから未知の多様体上での楕円型PDEの真の解に一貫して収束できるか？
• RQ2 本手法は、学習データセット外の新たな未観測データポイントに対しても良好に一般化できるか？
• RQ3 仮説空間が2層で広いニューラルネットワークである場合、非凸な経験的リスク関数に対して勾配降下法がグローバル最小値に収束できるか？
• RQ4 高余次元、粗い表面、境界を有する多様体において、本手法はどのように性能を発揮するか？
• RQ5 ニューラルネットワークの幅と、勾配降下法によるグローバル解への収束の理論的関係は何か？

主な発見

• 仮説空間が無限に広いか深いかニューラルネットワークである場合、大規模な学習データの極限において、経験的損失関数のグローバル最小値が真のPDE解に収束する。
• 十分に広い2層ReLUネットワークを用いる場合、勾配降下法は経験的損失関数のグローバル最小値に収束し、収束速度は $ \exp\left(-\frac{\lambda_S \lambda_A t}{N}\right) $ で有界である。
• 本手法は新しいデータポイントへの一般化が頑健であり、一般化誤差は学習誤差とほぼ同一であり、Nyström補間法を上回る性能を示す。
• 数値実験により、球面、トーラス、半トーラス、兎や顔のような複雑な形状（Dirichlet境界条件付き）においても収束が確認された。
• 粗い表面や境界条件に対しても本手法は頑健であり、データ密度や環境次元の変化に対しても一貫した性能を示した。
• 複数の例におけるハイパーパramータチューニングの結果、データサイズの増加に伴い安定した性能を示し、理論的収束の主張を支持した。