[論文レビュー] Hard Encoding of Physics for Learning Spatiotemporal Dynamics

Chengping Rao, Hao Sun+1 more|arXiv (Cornell University)|May 2, 2021

Model Reduction and Neural Networks参考文献 26被引用数 14

ひとこと要約

本稿では、従来の活性化関数に代わる新しい乗法的 $Π$-ブロックを用いて、既知の物理法則をアーキテクチャにハードエンコードする、物理学を組み込んだ再帰的畳み込みニューラルネットワークである PeRCNN を提案する。このモデルは、データ不足やノイズに強く、ConvLSTM や DHPM などの最先端モデルと比較して、長期的な時空間的外挙において優れた汎化性能を示す。

ABSTRACT

Modeling nonlinear spatiotemporal dynamical systems has primarily relied on partial differential equations (PDEs). However, the explicit formulation of PDEs for many underexplored processes, such as climate systems, biochemical reaction and epidemiology, remains uncertain or partially unknown, where very limited measurement data is yet available. To tackle this challenge, we propose a novel deep learning architecture that forcibly encodes known physics knowledge to facilitate learning in a data-driven manner. The coercive encoding mechanism of physics, which is fundamentally different from the penalty-based physics-informed learning, ensures the network to rigorously obey given physics. Instead of using nonlinear activation functions, we propose a novel elementwise product operation to achieve the nonlinearity of the model. Numerical experiment demonstrates that the resulting physics-encoded learning paradigm possesses remarkable robustness against data noise/scarcity and generalizability compared with some state-of-the-art models for data-driven modeling.

研究の動機と目的

• 限られた、ノイズの多いデータと、部分的に未知または不確実な支配PDEを伴う非線形時空間系のモデリングの課題に対処すること。
• 罰則に基づく物理情報付きニューラルネットワーク（PINN）の限界を克服すること。PINNはソフト制約に依存しており、学習中に物理法則を正しく強制できない可能性がある。
• 損失関数に基づく正則化ではなく、アーキテクチャによるハードエンコードを通じて、既知の物理法則（例：PDE項、初期・境界条件）を厳密に強制するデータ駆動型モデルの開発。
• 再帰的ブロックにおける非線形活性化関数の代わりに、物理法則を模倣する乗法的演算を導入することで、モデルの解釈可能性と汎化性能を向上させること。
• 気象モデルや反応拡散過程のような複雑な系において、最小限のデータで正確な長期的外挙を実現すること。

提案手法

• 完全畳み込み型の初期状態生成器（ISG）と再帰的 $Π$-ブロックから構成される、新しい深層学習アーキテクチャ PeRCNN を提案する。
• $Π$-ブロックを実装し、並列な畳み込み層からの特徴マップを要素ごとの積演算によって結合することで非線形性を誘発し、PDE の項を模倣する。
• 既知の物理法則（例：PDE 構造、初期・境界条件）をネットワークアーキテクチャそのものに直接組み込み、物理的制約の厳密な満たしを保証する。
• 時間発展を、$Π$-ブロックに適用する前進オイラー時間積分スキームを用いて再帰的計算で実現する。
• 特徴の統合と残差学習を可能にするために、1×1 畳み込み層を用いる。これにより、学習の安定性と表現力が向上する。
• 疎でノイズの多い測定値に対する教師あり損失を用いて、エンドツーエンドでモデルを学習し、検証損失に基づく早期停止を実施する。

実験結果

リサーチクエスチョン

• RQ1 損失関数内の罰則項に依存するのではなく、アーキテクチャ設計によるハードエンコードによって、既知の物理法則をモデルに強制的に組み込むことができるか？
• RQ2 アーキテクチャ設計による物理法則のハードエンコードは、罰則ベースの手法と比較して、データノイズやデータ不足に対するモデルのロバストネスをどのように向上させるか？
• RQ3 活性化関数を乗法的演算に置き換えることで、時空間モデリングにおけるモデルの解釈可能性と汎化性能がどの程度向上するか？
• RQ4 学習された重みの記号的解釈により、モデルが真の支配PDE構造を回復または近似できるか？
• RQ5 PeRCNN は、ConvLSTM や DHPM などの最先端モデルと比較して、学習範囲を超えた長期的外挙においてどの程度の性能を示すか？

主な発見

• PeRCNN は長期的外挙において優れた汎化性能を示し、学習時間範囲を超えて誤差の拡大が著しく抑えられ、他のモデルが著しく発散するのとは対照的である。
• 2次元バーガース方程式の実験では、PeRCNN は $t = 0.395$ において安定かつ正確な予測を達成しているが、ConvLSTM や DHPM などの他のモデルは真値から著しく逸脱している。
• PeRCNN の累積的 RMSE 曲線は外挙期間中も平坦で低く保たれ、一貫した性能を示しているのに対し、他のモデルは誤差の急激な増加を示している。
• 3次元グレイ＝スミス反応拡散実験では、PeRCNN は複数の濃度レベルにおける物理的に妥当な等濃度面を生成し、視覚的および定量的精度の両面ですべてのベースラインを上回った。
• 学習された $Π$-ブロックの記号的解析により、モデルの有効なダイナミクスが真の支配PDEに非常に近いことが確認され、解釈可能性と物理的整合性が裏付けられた。
• 訓練データに 10% のガウスノイズが加えられても、PeRCNN は誤差指標が時間経過とともに安定化し、データ劣化に対する強いロバストネスを示した。