[論文レビュー] Gaussian Processes simplify differential equations

Jong‐Hyeon Lee, Boumediene Hamzi+2 more|arXiv (Cornell University)|Oct 3, 2024

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本稿では、非線形偏微分方程式（PDE）や常微分方程式（ODE）の軌道間の写像を発見することによって、非線形微分方程式を学習・簡略化するガウス過程（GP）ベースのフレームワークを提案する。カーネル回帰と計算グラフ補完を用いて、バーガース方程式におけるコール・ホプフ変換と、ブルスラトール方程式の局所的正規形を学習し、元の方程式の知識がなくても、データ駆動型の線形化を達成した。ガウス過程が暗黙の変換学習を通じて複雑な力学を体系的に簡略化できることを示した。

ABSTRACT

In this paper we use Gaussian processes (kernel methods) to learn mappings between trajectories of distinct differential equations. Our goal is to simplify both the representation and the solution of these equations. We begin by examining the Cole-Hopf transformation, a classical result that converts the nonlinear, viscous Burgers' equation into the linear heat equation. We demonstrate that this transformation can be effectively learned using Gaussian process regression, either from single or from multiple initial conditions of the Burgers equation. We then extend our methodology to discover mappings between initial conditions of a nonlinear partial differential equation (PDE) and a linear PDE, where the exact form of the linear PDE remains unknown and is inferred through Computational Graph Completion (CGC), a generalization of Gaussian Process Regression from approximating single input/output functions to approximating multiple input/output functions that interact within a computational graph. Further, we employ CGC to identify a local transformation from the nonlinear ordinary differential equation (ODE) of the Brusselator to its Poincaré normal form, capturing the dynamics around a Hopf bifurcation. We conclude by addressing the broader question of whether systematic transformations between nonlinear and linear PDEs can generally exist, suggesting avenues for future research.

研究の動機と目的

• 非線形微分方程式を線形方程式に簡略化する座標変換を発見するデータ駆動型手法を開発すること。
• ガウス過程が、解析的式が与えられていなくても、バーガース方程式のコール・ホプフ変換といった既知の変換を、初期条件の軌道データのみから学習できることを示すこと。
• 目的の線形PDEが事前に不明な場合に、計算グラフ補完を用いて変換を推定することで、その方法を拡張すること。
• 分岐点の近く、例えばブルスラトール方程式におけるホーフ分岐点近辺で、局所的正規形を軌道に基づくGP回帰によって学習すること。
• カーネル法を用いて、非線形PDEと線形PDEとの間の体系的な線形化変換が一般に可能かどうかを検討すること。

提案手法

• ガウス過程回帰を用いて、非線形および線形微分方程式の軌道間の写像を学習し、変換を関数近似問題として扱う。
• 滑らかで確率的関数推定が可能であり、不確実性の定量化も可能な、カーネル法と再生核ヒルベルト空間（RKHS）を活用する。
• 計算グラフ補完（CGC）は、GP回帰を複数の相互作用する入出力関数に一般化し、データから未知の線形PDEを推定可能にする。
• コール・ホプフ変換の場合は、バーガース方程式と熱方程式の初期条件のペアに対してGP回帰を適用し、軌道データから変換を学習する。
• ブルスラトール方程式の場合は、初期条件の軌道データのみを用いて、ホーフ分岐点近辺でのPoincaré正規形への局所的変換をGP回帰で学習する。明示的な方程式は不要である。
• 線形PDEの構造が事前に不明な場合、観測された軌道にGPモデルをフィットさせることで、最適化に基づくアプローチを用いてその構造を同定する。

(a)

実験結果

リサーチクエスチョン

• RQ1 ガウス過程は、バーガース方程式と熱方程式の間のコール・ホプフ変換を、初期条件の軌道データのみから学習できるか？
• RQ2 本手法は、データ駆動型推論により、与えられた非線形PDEを線形化する未知の線形PDEを発見できるか？
• RQ3 GPベースの回帰は、非線形ODEの分岐点近辺で、元の方程式の知識がなくても局所的正規形を学習できるか？
• RQ4 カーネルの選定とハイパーパrameterの学習が、発見された変換の精度にどのように影響するか？
• RQ5 このフレームワークを、より広範な非線形PDEクラスにわたる体系的な線形化変換の発見に一般化できる可能性は何か？

主な発見

• バーガース方程式と熱方程式の間のコール・ホプフ変換は、単一または複数の初期条件からの軌道データのみを用いたガウス過程回帰により、正確に学習可能である。
• 線形PDEの正確な形が不明であっても、GP回帰と計算グラフ補完を組み合わせることで、高い精度で変換を学習できる。
• ブルスラトール方程式では、GPベースのアプローチが、ホーフ分岐点近辺でのPoincaré正規形への局所的変換を成功裏に学習し、明示的な方程式がなくても力学を捉えることができた。
• カーネルの選定が学習精度に顕著な影響を及ぼし、性能向上のための有効なカーネル学習手法を提案した。
• ガウス過程が、データ駆動型の変換学習を通じて、複雑な力学系を体系的に発見・簡略化する強力で原理的根拠のあるツールであることが示された。
• 結果から、非線形PDEと線形PDEとの間の体系的な線形化変換が、カーネルベースの手法を用いて体系的に発見可能である可能性が示唆され、力学系解析の新たな道筋が開かれた。

(b)