[論文レビュー] RoeNets: Predicting Discontinuity of Hyperbolic Systems from Continuous Data

Shiying Xiong, Xingzhe He+3 more|arXiv (Cornell University)|Jun 7, 2020

Model Reduction and Neural Networks参考文献 35被引用数 5

ひとこと要約

RoeNets は、短い連続的な学習データから双曲型保存則 (HCL) の不連続性を予測するための深層学習フレームワークを導入する。Roe 近似リーマンソルバーをニューラルネットワークアーキテクチャ内に再考することで実現された。疑似逆行列に基づくパrameterization を用いることで、柔軟な隠れ次元を可能にし、従来のソルバーに比べて高い精度と頑健性を達成。拡散なしに衝撃波や希薄波を的確に捉えることができ、滑らかな初期データから長期的な不連続性を予測する能力を示した。これは従来の機械学習手法では不可能とされてきた。

ABSTRACT

We introduce Roe Neural Networks (RoeNets) that can predict the discontinuity of the hyperbolic conservation laws (HCLs) based on short-term discontinuous and even continuous training data. Our methodology is inspired by Roe approximate Riemann solver (P. L. Roe, J. Comput. Phys., vol. 43, 1981, pp. 357--372), which is one of the most fundamental HCLs numerical solvers. In order to accurately solve the HCLs, Roe argues the need to construct a Roe matrix that fulfills "Property U", including diagonalizable with real eigenvalues, consistent with the exact Jacobian, and preserving conserved quantities. However, the construction of such matrix cannot be achieved by any general numerical method. Our model made a breakthrough improvement in solving the HCLs by applying Roe solver under a neural network perspective. To enhance the expressiveness of our model, we incorporate pseudoinverses into a novel context to enable a hidden dimension so that we are flexible with the number of parameters. The ability of our model to predict long-term discontinuity from a short window of continuous training data is in general considered impossible using traditional machine learning approaches. We demonstrate that our model can generate highly accurate predictions of evolution of convection without dissipation and the discontinuity of hyperbolic systems from smooth training data.

研究の動機と目的

• 短い期間の連続的な学習データから、双曲型保存則における長期的不連続性を予測できる機械学習モデルの開発。これは従来の機械学習手法では不可能とされている。
• 古典的数値法が「性質 U」の制約により、Roe 行列を一般の数値的手法では構築できないという限界を克服すること。
• ニューラルネットワークアーキテクチャにおける隠れ次元を通じた柔軟なパrameterization を可能にする、新しい文脈での疑似逆行列の導入により、モデルの表現力を向上させること。
• 線形および非線形リーマン問題、特に衝撃波のような滑らかでない解を含む問題において、優れた精度と頑健性を達成すること。
• 解の構造に関する事前知識なしに、データ駆動型モデルが物理的不連続性を学習・予測できることを示し、標準的な Roe ソルバーを上回ること。

提案手法

• Roe 行列を固有値行列 Λ と左固有ベクトル行列 L に分解し、それぞれを2つのニューラルネットワークで別々に学習する。
• 成分数を超える表現力を得るため、逆行列 L⁻¹ を疑似逆行列 L⁺ = (LᵀL)⁻¹Lᵀ に置き換え、隠れ次元を導入し、パrameterの柔軟性を向上させる。
• アーキテクチャは連続データ上でエンドツーエンドに訓練され、線形化リーマンソルバー枠組みを用いてセル間数値フラックスを再構築する能力を学習する。
• 元の Roe ソルバーの物理的性質（正確なヤコビ行列との整合性、量の保存）を保持しつつ、それを微分可能なニューラルネットワーク内に埋め込む。
• 線形双曲型 PDE（1〜3成分）および非線形 Sod の衝撃チューブ問題に対して評価を行い、頑健性と精度を示した。
• バーガース方程式では、滑らかな初期データでのみ学習し、時間経過に伴い衝撃波の出現を高精度で予測した。

実験結果

リサーチクエスチョン

• RQ1 入力に不連続性が存在しない短期間の連続的学習データから、ニューラルネットワークが双曲型保存則における不連続性を予測できるか？
• RQ2 標準的な数値的手法が失敗する中で、「性質 U」（対角化可能、実固有値、整合性、保存則）の制約下で、Roe 行列を深層学習モデルが効果的に近似できるか？
• RQ3 新しいアーキテクチャ的文脈で疑似逆行列を用いることで、物理的成分数を超えた表現力と一般化能力が向上するか？
• RQ4 RoeNets は、より高い精度と低減された拡散で衝撃波や希薄波を捉える点で、古典的 Roe ソルバーを上回ることができるか？
• RQ5 滑らかなデータでのみ学習したデータ駆動型モデルが、バーガース方程式のような非線形 PDE における典型的な不連続性（衝撃波）の形成を予測できるか？

主な発見

• RoeNets は、双曲的システムにおける不連続性を、数値的拡散なしに保持する形で、対流の進化を的確に予測した。
• 1〜3成分の一次元線形双曲型 PDE において、高い精度を達成し、衝撃波や接触不連続性の捉え方で古典的 Roe ソルバーを上回った。
• 非線形 Sod の衝撃チューブ問題では、3つの物理的特徴（希薄波、接触不連続性、衝撃波）を正確に再現した。
• 非粘性バーガース方程式の実験では、t=0 での滑らかな初期条件から t=0.3 における衝撃波の形成を、古典的 Roe ソルバーと完全に一致する高精度で予測した。
• 任意のノイズに対して強い頑健性を示し、複数のテストケースで安定性を維持した。これは、信頼できる一般化能力を示している。
• 完全に連続的な学習データからの長期的不連続性予測という能力は、従来の機械学習手法では一般的に不可能とされてきたが、これは画期的な前進である。