[論文レビュー] Learning Stable Galerkin Models of Turbulence with Differentiable Programming

Arvind Mohan, Kaushik Kumar Nagarajan+1 more|arXiv (Cornell University)|Jul 15, 2021

Model Reduction and Neural Networks参考文献 64被引用数 6

ひとこと要約

本稿では、乱流の安定した低次元モデル（ROM）を学習するために、固有直交分解に基づくガラーキン射影方程式にニューラルネットワークを埋め込むことで、微分可能プログラミングフレームワークであるNeural Galerkin Projection（NeuralGP）を提案する。CFDデータを用いて訓練しながらODEの物理的構造を保持することで、明示的なキャリブレーションがなくても、古典的なPODガラーキンROMよりもはるかに長期間かつ高精度な予測が可能になる。これは、自動微分を通じて安定した係数が暗黙的に学習されるためである。

ABSTRACT

Turbulent flow control has numerous applications and building reduced-order models (ROMs) of the flow and the associated feedback control laws is extremely challenging. Despite the complexity of building data-driven ROMs for turbulence, the superior representational capacity of deep neural networks has demonstrated considerable success in learning ROMs. Nevertheless, these strategies are typically devoid of physical foundations and often lack interpretability. Conversely, the Proper Orthogonal Decomposition (POD) based Galerkin projection (GP) approach for ROM has been popular in many problems owing to its theoretically consistent and explainable physical foundations. However, a key limitation is that the ordinary differential equations (ODEs) arising from GP ROMs are highly susceptible to instabilities due to truncation of POD modes and lead to deterioration in temporal predictions. In this work, we propose a extit{differentiable programming} approach that blends the strengths of both these strategies, by embedding neural networks explicitly into the GP ODE structure, termed Neural Galerkin projection. We demonstrate this approach on the isentropic Navier-Stokes equations for compressible flow over a cavity at a moderate Mach number. When provided the structure of the projected equations, we show that the Neural Galerkin approach implicitly learns stable ODE coefficients from POD coefficients and demonstrates significantly longer and accurate time horizon predictions, when compared to the classical POD-GP assisted by calibration. We observe that the key benefits of this differentiable programming-based approach include increased flexibility in physics-based learning, very low computational costs, and a significant increase in interpretability, when compared to purely data-driven neural networks.

研究の動機と目的

• 乱流における古典的な固有直交分解に基づくガラーキン射影（POD-GP）ROMの不安定性と、長期予測精度の低さを解消すること。
• ガラーキン射影の物理的解釈可能性と、深層ニューラルネットワークの表現力の統合。
• 微分可能プログラミングフレームワークの開発により、ODE構造を保持したままROM係数のエンドツーエンド訓練を可能にすること。
• キャビティ上を流れる圧縮性流体のROMの時間的安定性と予測精度を、任意のキャリブレーション手順に依存せずに向上させること。

提案手法

• ガラーキン射影ODEの構造に直接ニューラルネットワークを埋め込み、ハイブリッドな物理情報付き学習フレームワークを構築する。
• 微分可能プログラミングを用いて、ROM計算グラフ全体を通じた自動微分を可能にし、ニューラルネットワークの重みに対する勾配ベース最適化を実現する。
• 高精度CFDデータを用いてニューラルネットワークを訓練し、POD係数から時間微係数への写像を学習する安定したODE係数関数を獲得する。
• ガラーキン射影フレームワークを維持することで物理的整合性を確保し、ROMがナビエ-ストークス方程式に根ざしたままであることを保証する。
• 自動微分を活用して損失関数のネットワークパラメータに関する勾配を計算し、効率的な最適化を可能にする。
• POD係数の予測された時間微係数と実際の時間微係数の差異に基づく損失関数を採用し、時間経過に伴う残差誤差を最小化する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークをODE構造内に埋め込む微分可能プログラミングアプローチにより、乱流のガラーキンROMが安定化できるか？
• RQ2 提案されたNeural Galerkin Projection手法は、キャリブレーションを施した古典的PODガラーキンROMよりも優れた長期予測精度を達成できるか？
• RQ3 ハイブリッド手法は、乱流モデリングにおけるデータ駆動型学習を向上させる一方で、物理的解釈可能性をどの程度保持できるか？
• RQ4 微分可能プログラミングによる安定係数の暗黙的学習は、明示的なキャリブレーション手順と比較して、頑健性と計算コストの面でどのように異なるか？

主な発見

• Neural Galerkin Projectionは、明示的なキャリブレーションがなくても、古典的なPODガラーキンROMよりもはるかに長期間かつ高精度な時間予測を実現する。
• 本手法は、PODデータから安定したODE係数を暗黙的に学習することで、標準的なガラーキンROMで一般的な数値的発散問題を回避する。
• ガラーキン射影の物理的構造を保持することで、完全にブラックボックスなニューラルネットワークとは異なり、高い解釈可能性を達成する。
• 計算コストは非常に低く抑えられており、フィードバック制御システムにおけるリアルタイム適用が可能である。
• 任意の重み係数や正則化に依存するキャリブレーションベース手法に比べ、ユーザー依存的でなく、より頑健である。
• 微分可能プログラミングの活用により、自動微分で勾配を計算するエンドツーエンド訓練が可能となり、最適化中の収束性と安定性が保証される。