[論文レビュー] Efficient PDE-Constrained optimization under high-dimensional uncertainty using derivative-informed neural operators

Dingcheng Luo, Thomas O’Leary-Roseberry+2 more|arXiv (Cornell University)|May 31, 2023

Model Reduction and Neural Networks被引用数 9

ひとこと要約

本論文は MR-DINO を導入し、微分情報を取り入れたニューラル演算子を用いて高次元不確実性下の PDE 制約最適化を解決する。大幅な速度アップを実現しつつ精度を維持する。

ABSTRACT

We propose a novel machine learning framework for solving optimization problems governed by large-scale partial differential equations (PDEs) with high-dimensional random parameters. Such optimization under uncertainty (OUU) problems may be computational prohibitive using classical methods, particularly when a large number of samples is needed to evaluate risk measures at every iteration of an optimization algorithm, where each sample requires the solution of an expensive-to-solve PDE. To address this challenge, we propose a new neural operator approximation of the PDE solution operator that has the combined merits of (1) accurate approximation of not only the map from the joint inputs of random parameters and optimization variables to the PDE state, but also its derivative with respect to the optimization variables, (2) efficient construction of the neural network using reduced basis architectures that are scalable to high-dimensional OUU problems, and (3) requiring only a limited number of training data to achieve high accuracy for both the PDE solution and the OUU solution. We refer to such neural operators as multi-input reduced basis derivative informed neural operators (MR-DINOs). We demonstrate the accuracy and efficiency our approach through several numerical experiments, i.e. the risk-averse control of a semilinear elliptic PDE and the steady state Navier--Stokes equations in two and three spatial dimensions, each involving random field inputs. Across the examples, MR-DINOs offer $10^{3}$--$10^{7} imes$ reductions in execution time, and are able to produce OUU solutions of comparable accuracies to those from standard PDE based solutions while being over $10 imes$ more cost-efficient after factoring in the cost of construction.

研究の動機と目的

• 高次元不確実性（OUU）下の PDE 制約最適化の計算的ボトルネックを解消する。
• 乱数パラメータと最適化変数から PDE 状態とその導関数を正確に写像するニューラル演算子の代理モデルを開発する。
• 訓練に微分情報を組み込むことで勾配ベースの最適化を効率化する。
• 乱れ場入力を持つ半線形楕円問題とナビエ–ストークス問題のスケーラビリティを示す。

提案手法

• MR-DINO: 多入力縮約基底ニューラル演算子学習フレームワークを導入する。
• パラメータと状態の高次元入力を縮約基底でエンコードして次元非依存の学習を達成する。
• 最適化変数に関する解写像とその導関数の両方を用いてニューラル演算子を訓練する（DINO）。
• リスク測度の SAA における PDE 解を高速なニューラル演算子評価と勾配の自動微分に置換する。
• 演算子と導関数の精度を結ぶ勾配誤差境界を理論的に示す（命題 3.1）。
• 状態の POD とパラメータの PCA を用いた縮約基底ニューラーニングにより低次元写像を得る（式 19）。

実験結果

リサーチクエスチョン

• RQ1 高次元 OUU 設定で PDE 解とその最適化変数に関する導関数をニューラル演算子の代理で正確に近似できるか。
• RQ2 CVaR ベースの OUU で PDE 解を MR-DINO 代理に置換した場合、どの程度の加速と精度トレードオフが生じるか。
• RQ3 微分情報を用いた訓練と縮約基底アーキテクチャは、非微分・非縮約アプローチと比べて勾配忠実度と最適化性能を向上させるか。
• RQ4 MR-DINO は PDE 制約 OUU 内の異なる目的やリスク測度に対して再利用可能か。

主な発見

• MR-DINO は検証された PDE に対して実行時間を 10^3 〜 10^7 倍削減する。
• ニューラル演算子は PDE ベースの解と同程度の精度で OUU 解を提供し、構築コストを考慮した場合で 10 倍超のコスト削減が可能になる。
• 微分訓練は演算子の出力精度と勾配品質の両方を著しく改善し、より高品質な OUU 解を導く。
• MR-DINO アーキテクチャは縮約基底（POD/PCA）を活用して高次元入力を管理し、スケーラブルな性能を実現する。
• 代理モデルは異なる目的とリスク測度を持つ OUU 問題の家族に対して追加コストなしに再利用可能。