[論文レビュー] Bifidelity data-assisted neural networks in nonintrusive reduced-order modeling

Chuan Lü, Xueyu Zhu|arXiv (Cornell University)|Feb 1, 2019

Model Reduction and Neural Networks参考文献 15被引用数 5

ひとこと要約

本稿では、物理的パrameterに加えて低精度データの特徴を組み込むことで、高精度の低次元係数のニューラルネットワーク予測を向上させる、侵襲的でない低次元モデリング手法であるBiFi-NNを提案する。2層の隠れ層を備えたパーセプトロンを用いることで、予測精度が向上し、高精度シミュレーションをオンライン段階から分離可能となる。これにより、標準のPOD-NNと比較して、誤差飽和レベルが低い効率的なオンライン計算が可能となる。

ABSTRACT

In this paper, we present a new nonintrusive reduced basis method when a cheap low-fidelity model and expensive high-fidelity model are available. The method relies on proper orthogonal decomposition (POD) to generate the high-fidelity reduced basis and a shallow multilayer perceptron to learn the high-fidelity reduced coefficients. In contrast to other methods, one distinct feature of the proposed method is to incorporate the features extracted from the low-fidelity data as the input feature, this approach not only improves the predictive capability of the neural network but also enables the decoupling the high-fidelity simulation from the online stage. Due to its nonintrusive nature, it is applicable to general parameterized problems. We also provide several numerical examples to illustrate the effectiveness and performance of the proposed method.

研究の動機と目的

• 低精度および高精度モデルの両方を活用して、予測精度を向上させる侵襲的でない低次元モデリング手法の開発。
• 高精度シミュレーションをオンライン段階から分離し、パrameter化されたPDEのための効率的なオンライン計算を可能にする。
• 低精度解から抽出したデータ依存の特徴を組み込むことで、ニューラルネットワークの一般化性能を向上させる。
• 非線形的かつ高次元のパrameter空間において、補間ベースおよび単一精度のニューラルネットワーク手法の限界を克服する。
• 高価な高精度ソルバを用いたベンチマーク非線形PDE問題における手法の有効性を示す。

提案手法

• 高精度スナップショットから正規直交分解（POD）を用いて低次元基底を生成し、正確な低次元近似空間を保証する。
• 2層の隠れ層を備えた多層パーセプトロン（MLP）を訓練し、物理的パrameterと低精度POD係数を入力とし、高精度POD係数を出力する。
• 低精度データの特徴は、低精度解スナップショットに対してPODを適用することで抽出され、ニューラルネットワークの追加入力特徴として使用される。
• トレーニング段階では、オフラインでの高精度および低精度シミュレーションによりデータを生成するが、オンライン段階ではフルオーダーの解法を必要とせず、ニューラルネットワークの推論のみを実行する。
• この手法は侵襲的ではなく、レガシ高精度ソルバの変更を一切不要とし、一般のパrameter化されたPDEに適用可能である。
• このアプローチにより、フルオーダー自由度に依存しない計算コストでオンライン予測が可能となり、実行時間が顕著に短縮される。

実験結果

リサーチクエスチョン

• RQ1 低精度データの特徴を組み込むことで、侵襲的でない低次元モデリングにおけるニューラルネットワークの予測精度が向上するか？
• RQ2 低精度モデルからのデータ依存特徴を用いることで、高精度係数近似における誤差飽和レベルが低下するか？
• RQ3 物理的パrameterのみを入力として使用する場合と比較して、二精度入力が一般化性能をどの程度向上させるか？
• RQ4 オンライン段階で高精度シミュレーションを必要とせずに、正確なオンライン予測が達成できるか？
• RQ5 トレーニングデータセットのサイズが増加するに従って、係数近似誤差の観点から、この手法はどのようにスケーリングするか？

主な発見

• 低精度データからの特徴表現の向上のおかげで、特に小規模なトレーニングデータセットにおいて、標準のPOD-NNと比較して、近似誤差の飽和レベルが低くなる。
• 固定された低次元基底次元（r=18）のもとで、トレーニングデータが限られている場合でも、BiFi-NNは修正版POD-NNと比較して顕著な誤差低減を達成する。
• N=20、40、80のトレーニングデータセットサイズにおいて、BiFi-NNは一貫して修正版POD-NNを上回り、トレーニングデータの増加に伴い誤差がより著しく減少する。
• 2次元の円柱周りの流れ（非線形的パrameter依存性あり）を含む、複数のベンチマーク問題において、収束特性が良好であることが示された。
• 低精度特徴の組み込みにより、高精度係数マッピングにおける複雑な非線形的依存関係をニューラルネットワークがよりよく捉えることができるようになった。
• オンライン計算コストは低く抑えられ、フルオーダー自由度に依存しないため、このアプローチの侵襲的でないかつ効率的な性質が裏付けられた。