[論文レビュー] Reduced-order Deep Learning for Flow Dynamics

Min Wang, Siu Wun Cheung+4 more|arXiv (Cornell University)|Jan 29, 2019

Advanced Mathematical Modeling in Engineering参考文献 32被引用数 6

ひとこと要約

本論文は、非局所的マルチコンtinuum (NLMC) アップスケーリングを用いた、多スケール流れのダイナミクスのための深層ニューラルネットワークベースの低次元モデル化手法を提案する。粗いグリッド上の解の入出力写像を学習するために、ソフトスレッショーディング活性化関数を用いた多層ネットワークを訓練することで、主な多スケール特徴を捉え、スパースで適応的なモード選択を可能にし、時間積分を効率的に行う。テストケース全体で平均予測誤差が10%未満に抑えられることを確認した。

ABSTRACT

In this paper, we investigate neural networks applied to multiscale simulations and discuss a design of a novel deep neural network model reduction approach for multiscale problems. Due to the multiscale nature of the medium, the fine-grid resolution gives rise to a huge number of degrees of freedom. In practice, low-order models are derived to reduce the computational cost. In our paper, we use a non-local multicontinuum (NLMC) approach, which represents the solution on a coarse grid [18]. Using multi-layer learning techniques, we formulate and learn input-output maps constructed with NLMC on a coarse grid. We study the features of the coarse-grid solutions that neural networks capture via relating the input-output optimization to $l_1$ minimization of PDE solutions. In proposed multi-layer networks, we can learn the forward operators in a reduced way without computing them as in POD like approaches. We present soft thresholding operators as activation function, which our studies show to have some advantages. With these activation functions, the neural network identifies and selects important multiscale features which are crucial in modeling the underlying flow. Using trained neural network approximation of the input-output map, we construct a reduced-order model for the solution approximation. We use multi-layer networks for the time stepping and reduced-order modeling, where at each time step the appropriate important modes are selected. For a class of nonlinear problems, we suggest an efficient strategy. Numerical examples are presented to examine the performance of our method.

研究の動機と目的

• 多スケール流れ問題における細かいグリッドでのシミュレーションの高コストを軽減するため、低次元モデル化フレームワークを開発すること。
• 従来のモデル還元技術の限界を克服するため、演算子の明示的計算を伴わずに複雑な入出力写像を学習できるように、深層学習を統合すること。
• ニューラルネットワークの訓練を通じて、各時間ステップで重要な多スケールモードを適応的に選択できるようにすること。
• 多様な多スケール構成において主要な特徴を捉える、一般化可能でデータ駆動型の低次元基底を構築すること。
• ℓ₁最小化に関連するソフトスレッショーディングネットワークを活用することで、非線形流れ問題の予測精度を向上させること。

提案手法

• 細かいスケールの解を粗いグリッドに射影するために、非局所的マルチコンtinuum (NLMC) アップスケーリングを用いる。これにより自由度が低減される。
• 粗いグリッド上の解の時間発展を、連続する時間ステップ間の入出力写像として定式化する。
• NLMCの解を訓練データとして用い、多層ニューラルネットワークを訓練して入出力写像を学習する。
• ネットワークにソフトスレッショーディング活性化関数を用い、これは解析的にℓ₁最小化と関連しており、学習されたモードのスパarsityを促進する。
• 訓練済みネットワークを時間積分スキームに統合し、各ステップで関連する多スケール特徴を適応的に選択する。
• 異なるデータクラスタ（例：異なるフレクチャ構成）ごとに別個のネットワークを訓練し、混合データネットワークと比較することで一般化性とロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、多スケール流れ問題における粗いグリッド上の解の間の入出力写像を効果的に学習できるか？
• RQ2 ニューラルネットワークにおけるソフトスレッショーディング活性化関数はℓ₁最小化とどのように関連しており、多スケール特徴を捉える上でどのような利点を提供するか？
• RQ3 低次元基底の明示的計算を伴わず、ニューラルネットワークが主な多スケールモードをどれだけ正確に特定・選択できるか？
• RQ4 複数の物理的構成からの混合データで訓練した場合、クラスタ固有の訓練と比較して予測精度にどのような影響を与えるか？
• RQ5 提案手法は、最小限の計算コストで非線形流れ問題に対して高精度な低次元モデル化を達成できるか？

主な発見

• 提案された多層ニューラルネットワークは、すべての時間ステップにおいてテストサンプルで平均予測誤差が10%未満に抑えられ、優れた予測精度を示した。
• n = 0,1,...,8 の各係数 $ U^{n+1,W_{n}^{2}} $ が、学習された基底系 $ W^{2}_{n} $ においてスパースであることが確認され、ネットワークが関連するモードを適切に同定していることが裏付けられた。
• クラスタ固有のデータでは、$ frac{1}{10} ext{NN}_1 $ の平均予測誤差は7.45%であったが、混合データネットワーク $ ext{NN}_{ ext{mixed}} $ は著しく高い誤差36.64%を示し、クラスタが明確に分離されている場合に混合訓練は性能を劣化させることを示した。
• ソフトスレッショーディングネットワーク構造は、ℓ₁最小化と強い解析的・実証的関連性を持っており、効果的なスパース性促進による特徴選択を可能にした。
• PODベースの手法とは異なり、演算子の明示的計算を伴わず、低次元的に前方演算子を学習することができた。
• フレームワークにより、各時間ステップで重要なモードを動的に選択できるため、非線形問題において計算効率が向上した。