[논문 리뷰] Gaussian Processes simplify differential equations

Jong‐Hyeon Lee, Boumediene Hamzi외 2명|arXiv (Cornell University)|2024. 10. 03.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 비선형 편미분방정식(PDE) 또는 비선형 상미분방정식(ODE) 간의 궤적 간 매핑을 발견함으로써 비선형 미분방정식을 학습하고 단순화하는 가우시안 프로세스(GP) 기반 프레임워크를 제안한다. 커널 회귀와 계산 그래프 보완을 통해 버거스 방정식에 대한 코흐-호프트 변환과 브루셀레이터에 대한 국소 정규형을 학습하며, 기존 방정식에 대한 사전 지식 없이도 정확한 데이터 기반 선형화를 달성한다. 이는 GPs가 암묵적 변환 학습을 통해 복잡한 동역학을 체계적으로 단순화할 수 있음을 보여준다.

ABSTRACT

In this paper we use Gaussian processes (kernel methods) to learn mappings between trajectories of distinct differential equations. Our goal is to simplify both the representation and the solution of these equations. We begin by examining the Cole-Hopf transformation, a classical result that converts the nonlinear, viscous Burgers' equation into the linear heat equation. We demonstrate that this transformation can be effectively learned using Gaussian process regression, either from single or from multiple initial conditions of the Burgers equation. We then extend our methodology to discover mappings between initial conditions of a nonlinear partial differential equation (PDE) and a linear PDE, where the exact form of the linear PDE remains unknown and is inferred through Computational Graph Completion (CGC), a generalization of Gaussian Process Regression from approximating single input/output functions to approximating multiple input/output functions that interact within a computational graph. Further, we employ CGC to identify a local transformation from the nonlinear ordinary differential equation (ODE) of the Brusselator to its Poincaré normal form, capturing the dynamics around a Hopf bifurcation. We conclude by addressing the broader question of whether systematic transformations between nonlinear and linear PDEs can generally exist, suggesting avenues for future research.

연구 동기 및 목표

• 비선형 미분방정식을 선형 형태로 단순화하는 좌표 변환을 데이터 기반으로 발견하는 방법을 개발하는 것.
• 가우시안 프로세스가 코흐-호프트 변환과 같은 알려진 변환을 명시적인 공식 없이도 궤적 데이터만으로 학습할 수 있음을 보여주는 것.
• 목표로 하는 선형 PDE가 사전에 알려져 있지 않은 경우, 계산 그래프 보완을 사용해 변환을 추론하는 방법으로 이론을 확장하는 것.
• 비선형 ODE의 분기점 근처, 예를 들어 브루셀레이터의 허프 분기점 근처에서의 국소 정규형을 궤적 기반 GP 회귀를 통해 학습하는 것.
• 커널 방법을 사용해 비선형 PDE와 선형 PDE 간의 체계적 선형화 변환 가능성을 일반적으로 탐색하는 것.

제안 방법

• 비선형 및 선형 미분방정식의 궤적 간 매핑을 학습하기 위해 가우시안 프로세스 회귀를 사용하며, 변환을 함수 근사 문제로 간주한다.
• 부드럽고 확률적인 함수 추정과 불확실성 정량화를 보장하기 위해 커널 방법과 재생 커널 힐버트 공간(RKHS)을 활용한다.
• 계산 그래프 보완(CGC)은 GP 회귀를 다중 상호작용 입력-출력 함수로 일반화하여, 데이터로부터 알려지지 않은 선형 PDE를 추론할 수 있게 한다.
• 코흐-호프트 변환의 경우, 버거스 방정식과 열 방정식의 초기 조건 쌍에 대해 GP 회귀를 적용하여 궤적 데이터로부터 변환을 학습한다.
• 브루셀레이터의 경우, 초기 조건이 주어진 궤적 데이터만을 사용하여 허프 분기점 근처에서 Poincaré 정규형으로의 국소 변환을 GP 회귀로 학습한다. 명시적인 방정식이 필요로 하지 않는다.
• 선형 PDE의 구조가 사전에 알려져 있지 않은 경우, 관측된 궤적에 GP 모델을 피팅함으로써 최적화 기반 접근법을 사용해 선형 PDE의 구조를 발견한다.

(a)

실험 결과

연구 질문

• RQ1 가우시안 프로세스는 궤적 데이터만으로 버거스 방정식과 열 방정식 간의 코흐-호프트 변환을 학습할 수 있는가?
• RQ2 이론적 추론을 통해 알려지지 않은 선형 PDE가 주어진 비선형 PDE를 선형화하는가를 데이터 기반 추론으로 발견할 수 있는가?
• RQ3 GP 기반의 회귀는 기존 방정식의 지식 없이도 분기점 근처의 비선형 ODE에 대한 국소 정규형을 학습할 수 있는가?
• RQ4 커널 선택과 하이퍼파rameter 학습이 발견된 변환의 정확성에 미치는 영향은 무엇인가?
• RQ5 이 프레임워크는 더 넓은 범위의 비선형 PDE에 대해 체계적인 선형화 변환을 발견하는 데 일반화될 수 있는가?

주요 결과

• 단일 또는 다수의 초기 조건에서의 궤적 데이터만을 사용하여 가우시안 프로세스 회귀를 통해 버거스 방정식과 열 방정식 간의 코흐-호프트 변환을 정확하게 학습할 수 있다.
• 정확한 선형 PDE의 형태가 알려져 있지 않은 경우에도 GP 회귀와 계산 그래프 보완을 조합함으로써 변환 학습에 높은 정확도를 달성한다.
• 브루셀레이터의 경우, GP 기반 접근법이 허프 분기점 근처에서 Poincaré 정규형으로의 국소 변환을 성공적으로 학습하여 명시적인 방정식 없이도 동역학을 포착한다.
• 커널의 선택은 학습 정확도에 큰 영향을 미치며, 성능 향상을 위한 효과적인 커널 학습 방법을 제안한다.
• 이 프레임워크는 가우시안 프로세스가 데이터 기반 변환 학습을 통해 복잡한 동역학계를 체계적으로 발견하고 단순화하는 강력하고 원리적인 도구가 될 수 있음을 보여준다.
• 결과적으로 비선형 PDE와 선형 PDE 간의 체계적 선형화 변환은 커널 기반 방법을 통해 체계적으로 발견될 수 있으며, 이는 동역학계 분석의 새로운 길을 열어준다.

(b)