[論文レビュー] ADCME: Learning Spatially-varying Physical Fields using Deep Neural Networks

Kailai Xu, Eric Darve|arXiv (Cornell University)|Nov 24, 2020

Model Reduction and Neural Networks参考文献 37被引用数 18

ひとこと要約

ADCMEは、空間的に変化する物理場を含む逆問題をPDE制約付き最適化問題として定式化する、物理に基づく深層学習フレームワークを提案する。数値ソルバーや深層ニューラルネットワーク（DNN）をすべて計算グラフとして表現することで、逆モード自動微分を用いた効率的な勾配計算と物理制約付き学習を可能とし、線形および非線形PDE（ストークス方程式、超弾性、バーガー方程式など）において、データが少ない状況でも従来の離散化手法を上回る精度を達成する。

ABSTRACT

ADCME is a novel computational framework to solve inverse problems involving physical simulations and deep neural networks (DNNs). This paper benchmarks its capability to learn spatially-varying physical fields using DNNs. We demonstrate that our approach has superior accuracy compared to the discretization approach on a variety of problems, linear or nonlinear, static or dynamic. Technically, we formulate our inverse problem as a PDE-constrained optimization problem. We express both the numerical simulations and DNNs using computational graphs and therefore, we can calculate the gradients using reverse-mode automatic differentiation. We apply a physics constrained learning algorithm (PCL) to efficiently back-propagate gradients through iterative solvers for nonlinear equations. The open-source software which accompanies the present paper can be found at https://github.com/kailaix/ADCME.jl.

研究の動機と目的

• 限られた観測データからの空間的に変化する物理場の学習において、従来の離散化手法の不適切な定式化と低精度を是正すること。
• 深層ニューラルネットワークと物理ベースの数値ソルバを統合した統一された計算フレームワークの開発。
• PDEソルバーやDNNを計算グラフとして表現することで、勾配ベースの最適化を自動微分を用いて実現すること。
• DNNが物理場の表現力に富み、正則化された関数近似としての性能を示すことを、データが少ない状況で実証すること。
• スケーラブルで微分可能な物理シミュレーションと深層学習の統合を可能にするオープンソースのソフトウェアフレームワーク（ADCME.jl）の提供。

提案手法

• 逆問題をPDE制約付き最適化として定式化：損失関数J(u)を最小化し、F(u, Nθ) = 0を満たす。ここでNθは空間的に変化する物理場を近似するDNNである。
• 有限要素法ソルバーや深層ニューラルネットワークをすべて計算グラフとして表現し、逆モードADを用いたエンドツーエンドの自動微分を可能にする。
• チェックポイントを用いた随伴法を用いて、ニュートン・ラプソンなどの反復的非線形ソルバを介した勾配のバックプロパゲーションを効率的に行う物理制約付き学習（PCL）を実装する。
• パフォーマンスと開発の負荷の両立を図るため、テンソルレベルの演算と高レベルの有限要素アセンブリを計算グラフ内で使用する。
• ストークス流れ、超弾性、時間依存バーガー方程式など、さまざまなPDEにフレームワークを適用する。
• 制御されたデータ環境下でのベンチマーク逆問題に対して、オープンソースのADCME.jlライブラリを用いて手法を実装・ベンチマーク化する。

実験結果

リサーチクエスチョン

• RQ1 データが限られている状況で、DNNは空間的に変化する物理場の学習において、従来のグリッドベースの離散化手法を上回ることができるか？
• RQ2 エンドツーエンドのDNN統合物理モデルのトレーニング中に、非線形PDEソルバーやらに勾配を効率的にバックプロパゲートする方法は何か？
• RQ3 DNNを物理場のパラメータ化に用いることで、区分的定数または節点離散化と比較して、滑らかさと精度がどの程度向上するか？
• RQ4 提案されたフレームワークは、静的および動的、線形および非線形PDEを一貫した性能とスケーラビリティで処理できるか？
• RQ5 最適化法およびDNNアーキテクチャによる正則化の選択が、不適切な逆問題における収束性と精度に与える影響は何か？

主な発見

• ストークス問題において、DNNベースのアプローチは、限られたデータでも離散化手法よりも顕著に低い点ごとの絶対誤差を達成した。
• 超弾性問題では、DNNが区分的定数離散化よりも滑らかで正確なヤング率の空間的変動場を学習し、最大点ごとの誤差が低かった。
• バーガー方程式のケースでは、初期値が定数のため、離散化手法は発散したが、DNNアプローチは60イテレーションで正常に収束した。
• DNNベースの手法は、特に未知の場の空間相関が低い問題において、損失関数の収束が速く、一般化性能に優れていた。
• 物理制約付き学習アプローチにより、ニュートン・ラプソンのような非線形ソルバを介した安定したバックプロパゲーションが可能となり、エンドツーエンドのトレーニングが実現した。
• オープンソースのADCME.jlフレームワークは、有限要素法ソルバーや深層学習を効率的に統合し、計算グラフとチェックポイントを用いた効率的な勾配計算を可能にした。