[論文レビュー] MultiAuto-DeepONet: A Multi-resolution Autoencoder DeepONet for Nonlinear Dimension Reduction, Uncertainty Quantification and Operator Learning of Forward and Inverse Stochastic Problems

Jiahao Zhang, Shiqi Zhang+1 more|arXiv (Cornell University)|Apr 7, 2022

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本稿では、マルチスケール畳み込み自己符号化器とDeepONetを組み合わせた新しい深層学習フレームワーク、MultiAuto-DeepONetを提案する。このフレームワークにより、限られたデータにおける前向きおよび逆問題のための非線形次元削減、不確実性の定量化、および確率的微分方程式の作用素学習が効率的に行える。入力特徴抽出のためのエンコーダと、共有ブランチおよびL₁正則化付きスパース重みを備えた二重DeepONetデコーダを統合することで、パラメータ数を削減しつつ高い精度を達成し、複数の確率的PDEにおいてPCAベースのDeepONetを上回る平均および分散の予測性能を示した。

ABSTRACT

A new data-driven method for operator learning of stochastic differential equations(SDE) is proposed in this paper. The central goal is to solve forward and inverse stochastic problems more effectively using limited data. Deep operator network(DeepONet) has been proposed recently for operator learning. Compared to other neural networks to learn functions, it aims at the problem of learning nonlinear operators. However, it can be challenging by using the original model to learn nonlinear operators for high-dimensional stochastic problems. We propose a new multi-resolution autoencoder DeepONet model referred to as MultiAuto-DeepONet to deal with this difficulty with the aid of convolutional autoencoder. The encoder part of the network is designed to reduce the dimensionality as well as discover the hidden features of high-dimensional stochastic inputs. The decoder is designed to have a special structure, i.e. in the form of DeepONet. The first DeepONet in decoder is designed to reconstruct the input function involving randomness while the second one is used to approximate the solution of desired equations. Those two DeepONets has a common branch net and two independent trunk nets. This architecture enables us to deal with multi-resolution inputs naturally. By adding $L_1$ regularization to our network, we found the outputs from the branch net and two trunk nets all have sparse structures. This reduces the number of trainable parameters in the neural network thus making the model more efficient. Finally, we conduct several numerical experiments to illustrate the effectiveness of our proposed MultiAuto-DeepONet model with uncertainty quantification.

研究の動機と目的

• 限られたデータを用いた高次元の確率的作用素学習の課題に対処すること。
• 標準的なDeepONetが高次元入力を処理する際の限界を克服し、非線形次元削減を導入すること。
• 入力および解作用素の学習可能でスパースな表現を通じて、確率的微分方程式における効果的な不確実性の定量化を可能にすること。
• 非線形特徴抽出と作用素近似を同時に実行する統合アーキテクチャを構築し、パラメータ数を削減すること。

提案手法

• モデルは、入力次元を低減し、高次元の確率的関数から隠れ特徴を抽出するため、畳み込み自己符号化器をエンコーダとして採用する。
• デコーダは、共通のブランチネットワークを持つが、再構成と解の近似のための独立したトランクネットワークを持つ二つの別々のDeepONetから構成される。
• ブランチネットワークはエンコーダからの潜在表現を処理するが、トランクネットワークはセンサの位置と確率的変数を入力として受け取り、関数出力を予測する。
• ブランチおよびトランクネットワークにL₁正則化を適用することでスパarsityを誘導し、モデルの複雑さを低減するとともに一般化性能を向上させる。
• 自己符号化器による階層的表現学習と、柔軟な入力ドメインスケーリングを可能にする仕組みにより、マルチスケール入力をサポートする。
• 予測値と真の解値の間の平均二乗誤差損失を用いてモデルを訓練し、未観測のサンプル軌道を用いた検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 限られたデータを用いて、高次元の確率的微分方程式における非線形作用素を深層学習モデルが効果的に学習できるか。
• RQ2 自己符号化器をDeepONetに統合することで、確率的作用素学習における性能と一般化性能がどのように向上するか。
• RQ3 L₁正則化が、学習された作用素表現におけるスパarsityとパラメータ数の削減にどの程度寄与するか。
• RQ4 MultiAuto-DeepONetは、確率的PDEにおける不確実性の定量化および解の精度において、PCAベースのDeepONetと比較してどのように優れているか。
• RQ5 本モデルは、KdV方程式の例で示されるように、異なる空間的または時間的スケールの入力に対しても一般化可能か。

主な発見

• MultiAuto-DeepONetは、KdV方程式の前向き問題において、テストの平均二乗誤差が約6.34×10⁻⁵、平均相対l²誤差が0.097%を達成した。
• 予測された平均の相対l²誤差は、PCAベースのDeepONetの0.166%から0.107%に低下し、分散誤差も1.53%から0.99%に改善された。
• L₁正則化のおかげで、ブランチおよびトランクネットワークの重み係数が顕著にスパース化され、トレーニング可能なパラメータ数が大幅に削減された。
• エンコーダは、確率的入力の隠れ特徴を効果的に捉え、潜在空間からの新しい入力関数サンプルの正確な生成を可能にした。
• トレーニング損失と検証損失の曲線がよく一致しており、低一般化誤差であることが示され、優れた一般化性能を示した。
• 二重DeepONetデコーダアーキテクチャにより、再構成と解の近似のタスクが効果的に分離され、マルチスケール設定下での全体的な精度が向上した。