[論文レビュー] Learning differentiable solvers for systems with hard constraints

Geoffrey Négiar, Michael W. Mahoney+1 more|arXiv (Cornell University)|Jul 18, 2022

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本稿では、陰関数微分を用いてPDE制約最適化問題を解くことで、ニューラルネットワークに厳密な物理的制約を課す微分可能PDE制約層（PDE-CL）を提案する。この手法は、PDEパラメータから解への写像を表す関数の基底を学習し、学習中に解のデータが不要な状態でも、より低いテスト誤差とより速い収束を実現する。

ABSTRACT

We introduce a practical method to enforce partial differential equation (PDE) constraints for functions defined by neural networks (NNs), with a high degree of accuracy and up to a desired tolerance. We develop a differentiable PDE-constrained layer that can be incorporated into any NN architecture. Our method leverages differentiable optimization and the implicit function theorem to effectively enforce physical constraints. Inspired by dictionary learning, our model learns a family of functions, each of which defines a mapping from PDE parameters to PDE solutions. At inference time, the model finds an optimal linear combination of the functions in the learned family by solving a PDE-constrained optimization problem. Our method provides continuous solutions over the domain of interest that accurately satisfy desired physical constraints. Our results show that incorporating hard constraints directly into the NN architecture achieves much lower test error when compared to training on an unconstrained objective.

研究の動機と目的

• PDEの学習にあたって解のデータを必要とせずに、ニューラルネットワークに正確な物理的制約を課える課題に対処すること。
• 勾配の不均衡、病的な条件数、物理法則の近似的な満たし方といったソフト制約法の限界を克服すること。
• PDEの解が厳密に制約を満たすことを保証しながら、エンドツーエンドの学習が可能な微分可能レイヤーを開発すること。
• PDEの構造と境界・初期条件のみを用いて、未学習のPDEパラメータに対しても正確かつ一般化可能なPDE解の予測を可能にすること。
• 調整可能なハイパーパrameterを用いて速度と精度のバランスを図る手法を提供し、科学的機械学習に適したものとすること。

提案手法

• 本手法は、微分可能最適化を用いてPDE制約最適化問題を解くことで、PDEパラメータから解への写像を実現するPDE制約層（PDE-CL）を導入する。
• 陰関数定理を活用して、PDE制約最適化の解を通じた勾配を計算し、バックプロパゲーションをレイヤー内に可能にする。
• 辞書学習にインspiredされた訓練により、PDEパラメータから解への写像を表す各々の基底関数の族を学習する。
• 推論時、PDE制約最適化問題を解くことで、学習済み基底関数の最適な線形結合を計算する。
• 損失関数は、PDEの残差を最小化するとともに、境界条件と初期条件を厳密に満たすように設計されている。
• 本手法は任意のニューラルネットワークアーキテクチャをサポートし、少数のサンプリングポイントでの学習後、高解像度の解評価が可能である。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの最適化と互換性を保ちつつ、厳密なPDE制約を課すことが可能な微分可能ニューラルネットワークレイヤーを設計できるか？
• RQ2 PDE制約最適化レイヤーを用いて厳密な制約を課す方法は、ソフト制約法と比較して収束速度と解の精度の点でどのように優れるか？
• RQ3 学習中に解のデータが入手不可であっても、未学習のPDEパラメータに一般化できるか？
• RQ4 急峻な特徴や非線形ダイナミクスを示す問題において、本手法が解の忠実性をどの程度向上させるか？
• RQ5 速度と精度のトレードオフを制御するハイパーパラメータが、多様なPDEタイプにおける性能に与える影響はいかほどか？

主な発見

• 提案手法の厳密制約モデルは、1Dバーガース問題において5,000ステップ未満の学習で相対誤差1.11% ± 0.11%を達成し、ソフト制約ベースラインを著しく上回った。
• ソフト制約ベースラインは、同程度の精度に到達するまでに100倍の学習ステップを要し、相対誤差4.34% ± 0.33%を示した。
• ヒートマップの可視化比較により、厳密制約モデルはソフト制約モデルよりも解の急峻な特徴をより正確に捉えていた。
• 2Dダーサイフロー、1Dバーガース、1D対流の3つのテスト問題において、PDEの残差誤差が低く、収束が速かった。
• 少数のサンプリングポイントでの学習後、高解像度グリッド上でも正確な解が得られたことから、効率的な推論が可能であることが示された。
• 実験的結果から、厳密な制約の強制は、ペナルティベースのソフト制約に比べて、より優れた一般化性能と物理的に整合性のある解をもたらすことが明らかになった。