[論文レビュー] Solving Inverse Problems in Steady-State Navier-Stokes Equations using Deep Neural Networks

Tiffany Fan, Kailai Xu+2 more|arXiv (Cornell University)|Aug 30, 2020

Model Reduction and Neural Networks参考文献 15被引用数 9

ひとこと要約

本稿では、深層ニューラルネットワーク（DNN）と自動微分を組み合わせた深層学習フレームワークを提案し、定常状態のナビエ＝ストークス方程式における逆問題を解く。偏微分方程式（PDE）ソルバーやDNNを微分可能計算グラフとして表現することで、勾配ベース最適化を用いて、疎でノイズの多い速度観測から空間的に変化する粘性係数および熱伝導率場を推定可能となり、限られたデータでも効果的な正則化と高精度な再構成を実現した。

ABSTRACT

Inverse problems in fluid dynamics are ubiquitous in science and engineering, with applications ranging from electronic cooling system design to ocean modeling. We propose a general and robust approach for solving inverse problems in the steady-state Navier-Stokes equations by combining deep neural networks and numerical partial differential equation (PDE) schemes. Our approach expresses numerical simulation as a computational graph with differentiable operators. We then solve inverse problems by constrained optimization, using gradients calculated from the computational graph with reverse-mode automatic differentiation. This technique enables us to model unknown physical properties using deep neural networks and embed them into the PDE model. We demonstrate the effectiveness of our method by computing spatially-varying viscosity and conductivity fields with deep neural networks (DNNs) and training the DNNs using partial observations of velocity fields. We show that the DNNs are capable of modeling complex spatially-varying physical fields with sparse and noisy data. Our implementation leverages the open access ADCME, a library for solving inverse modeling problems in scientific computing using automatic differentiation.

研究の動機と目的

• 速度場の部分的かつ間接的な観測しか得られない状況下で、流体力学における空間的に変化する物理的性質（例：粘性係数）を推定する課題に対処すること。
• 定常状態ナビエ＝ストークスシミュレーションにおける逆問題の不適切な定式化と高い計算コストを克服すること。
• 深層ニューラルネットワークと数値的PDEソルバーを統合した汎用的かつ頑健なフレームワークを構築すること。
• 自動微分を活用して、PDEソルバーおよびDNNを通過する勾配を効率的に計算し、最適化に用いること。
• 疎でノイズの多いデータから複雑な空間的に変化する物理的場を再構成する際、DNNが正則化子として有効であることを実証すること。

提案手法

• PDEが制約条件となる制約付き最適化問題として逆問題を定式化し、観測値と予測値の速度場の差を測る損失関数を定義する。
• PDEソルバーとDNNを微分可能演算子を備えた計算グラフとして表現し、逆方向自動微分を可能にする。
• 自動微分を用いて、PDEソルバー内のニュートン反復を含む全シミュレーションパイプラインを逆伝播で勾配を伝搬する。
• 勾配ベース最適化により損失関数を最適化することで、DNNが空間的に変化する粘性係数または熱伝導率場を予測するように学習する。
• PDEの有限要素法と自動微分をサポートするオープンソースのADCMEおよびAdFemライブラリを用いてフレームワークを実装する。
• 3つのテストケース（純粋なナビエ＝ストークス、熱方程式を含むナビエ＝ストークス、輸送方程式を含むナビエ＝ストークス）に適用し、汎用性を示した。

実験結果

リサーチクエスチョン

• RQ1 定常状態ナビエ＝ストークス流れにおいて、疎でノイズの多い速度観測から、空間的に変化する粘性係数場をDNNが効果的に再構成できるか。
• RQ2 DNNを正則化子として用いることで、限られたデータ条件下で逆問題の条件数と精度がどのように向上するか。
• RQ3 PDEソルバーを通過する自動微分が、物理的性質推定のためのエンドツーエンドDNN学習をどの程度可能にするか。
• RQ4 提案されたフレームワークは、熱伝達や粒子輸送などの追加物理を含む連成系に対しても処理可能か。
• RQ5 高解像度シミュレーションに適用する際、メモリコストや非凸最適化といった計算的・数値的課題はどのようなものか。

主な発見

• DNNベースの手法は、x座標に依存する層状の依存関係を示す空間的に変化する粘性係数場を、わずか22件の疎な速度観測からのみでも効果的に再構成した。
• 100回の最適化ステップを経過しても、再構成誤差が低く保たれ、図9に示すように、基準粘性係数場の推定が高精度で達成された。
• DNNを正則化子として用いることで、疎なデータ条件下での逆問題の安定性と収束性が、ピxls単位の近似と比較して顕著に向上した。
• ナビエ＝ストークスに熱方程式や輸送方程式を組み合わせた複数の連成物理系に対しても、フレームワークは頑健に動作し、汎用性を確認した。
• 高メモリ使用量や非凸最適化といった課題が存在するが、DNNに構造的仮定（例：層状モデル）を組み込むことで、特にその効果が顕著に現れた。
• ADCMEおよびAdFemを用いた実装により、効率的な勾配計算が可能であり、科学計算分野の他の逆問題への応用も容易に拡張可能であった。