[論文レビュー] Multilevel CNNs for Parametric PDEs

Cosmas Heiß, Ingo Gühring+1 more|arXiv (Cornell University)|Apr 1, 2023

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、高次元パrametric PDEを効率的に解くために、マルチグリッド・ソルバーとディープラーニングを統合するマルチレベル畳み込みニューラルネットワーク（ML-Nets）を提案する。CNNによってマルチグリッドVサイクルを近似することで、パrameter次元に依存しない近似誤差バウンドを達成し、ネットワークサイズはメッシュ解像度に対して対数的に増加する。ベンチマーク問題、特に高次元のランダムな熱伝導率とランダム・クッキー問題において、最先端のディープラーニング・ソルバーを著しく上回る性能を発揮する。

ABSTRACT

We combine concepts from multilevel solvers for partial differential equations (PDEs) with neural network based deep learning and propose a new methodology for the efficient numerical solution of high-dimensional parametric PDEs. An in-depth theoretical analysis shows that the proposed architecture is able to approximate multigrid V-cycles to arbitrary precision with the number of weights only depending logarithmically on the resolution of the finest mesh. As a consequence, approximation bounds for the solution of parametric PDEs by neural networks that are independent on the (stochastic) parameter dimension can be derived. The performance of the proposed method is illustrated on high-dimensional parametric linear elliptic PDEs that are common benchmark problems in uncertainty quantification. We find substantial improvements over state-of-the-art deep learning-based solvers. As particularly challenging examples, random conductivity with high-dimensional non-affine Gaussian fields in 100 parameter dimensions and a random cookie problem are examined. Due to the multilevel structure of our method, the amount of training samples can be reduced on finer levels, hence significantly lowering the generation time for training data and the training time of our method.

研究の動機と目的

• 不確実性評価における高次元パrametric PDEの計算的非実行可能性に対処すること。特に、パrameter次元が大きい場合に有効であるように。
• パrameter次元の増加に伴い性能が低下する従来の低次元化および確率的コロケーション法の限界を克服すること。
• マルチグリッド法の効率性と誤差制御を継承しつつ、ニューラルネットワークの表現力も維持するディープラーニングアーキテクチャを開発すること。
• パrameter次元に依存しない、ニューラルネットワーク解の近似バウンドを導出すること。
• 階層的なマルチレベル構造とレベル依存サンプリングを活用して、トレーニングデータおよびトレーニング時間の要件を低減すること。

提案手法

• 有限要素空間の階層に基づくマルチレベルアーキテクチャを構築し、各レベルがメッシュの細分化に対応する。
• マルチグリッドVサイクルを、ダウンサンプリング、スムージング、リダクション、プロラングェーション、補正の順序でモデル化し、これらすべてを畳み込みニューラルネットワーク（CNN）で近似する。
• ネットワークアーキテクチャ（ML-Net）は、各マルチグリッド部品（拡散係数のダウンサンプリング、残差補正、プロラングェーション演算子）を近似するCNNを連結することで構成される。
• 理論的分析により、任意のマルチグリッドVサイクルは、誤差がε‖f‖*以内に抑えられるCNNで近似可能であることが示された。ここでεは精度を制御するパrameterであり、fはソース項である。
• ネットワークの重み数は、所望の精度の逆数の対数的スケーリングと、レベル数の二乗に比例して増加する。これにより、高次元でも効率性が保証される。
• より細かいレベルでの補正項には情報が少ないことを利用し、高レベルでのサンプリングを減らすことで、データ生成コストとトレーニングコストを低減できる。

実験結果

リサーチクエスチョン

• RQ1 解像度に応じて有利にスケーリングされるパラメータ数で、任意の精度でマルチグリッドVサイクルを近似できるディープニューラルネットワークアーキテクチャを構築できるか？
• RQ2 そのようなネットワークが、パrameter次元に依存しないパrametric PDE解の近似バウンドを達成できるか？
• RQ3 マルチレベル構造が、高次元問題におけるトレーニングデータおよび計算時間の大幅な削減を可能にするか？
• RQ4 提案されたML-Netの表現力は、パrametric PDEのための最先端のディープラーニング・ソルバーと比較してどの程度か？
• RQ5 100次元のガウス分布を用いた非アフィンな高次元ランダム場（例：100次元のガウス的熱伝導率場）を効果的に処理できるか？

主な発見

• 提案されたML-Netアーキテクチャは、任意の精度ε‖f‖*でマルチグリッドVサイクルを近似可能であり、ネットワーク重み数はO(L log(1/ε) + L²)に比例する。ここでLはレベル数である。
• パrameter次元に依存しないパrametric PDE解の近似誤差バウンドを達成しており、高次元問題の効率的解法が可能になる。
• 非アフィンなガウス分布を用いた100次元のランダム熱伝導率問題において、既存のディープラーニング・ソルバーを著しく上回る精度と一般化性能を発揮した。
• 挑戦的なランダム・クッキー問題においても、細かいグリッドでのレベル依存サンプリングのおかげで、高精度を維持しながらトレーニングデータとトレーニング時間を削減した。
• 理論的分析により、ネットワークの表現力はパrametric PDEの解写像を最適収束レートで表現するのに十分であることが確認された。
• 実験的結果から、マルチレベル構造により、特に細かいレベルでトレーニングデータ生成時間とトレーニング時間の大幅な削減が可能であることが示された。