[논문 리뷰] Linearly Constrained Gaussian Processes with Boundary Conditions

Markus Lange‐Hegermann|arXiv (Cornell University)|2020. 02. 03.

Gaussian Processes and Bayesian Inference참고 문헌 71인용 수 6

한 줄 요약

이 논문은 그뢰브너 기저를 사용하여 선형 편미분방정식 시스템과 관련된 경계 조건을 정확히 만족하는 다중 출력 가우시안 프로세스 사전분포를 구성하는 정확하고 알고리즘적인 방법을 제시한다. 미분 해공간과 경계 조건 다양체의 매개변수화를 피복을 통해 결합함으로써, 모든 실현값과 사후 평균이 정확한 해임을 보장하며, 물리 법칙과 경계 자료를 사전에 정확히 통합함으로써 근사치 없이 완전히 제약된 비모수 베이지안 회귀를 가능하게 한다.

ABSTRACT

One goal in Bayesian machine learning is to encode prior knowledge into prior distributions, to model data efficiently. We consider prior knowledge from systems of linear partial differential equations together with their boundary conditions. We construct multi-output Gaussian process priors with realizations in the solution set of such systems, in particular only such solutions can be represented by Gaussian process regression. The construction is fully algorithmic via Gröbner bases and it does not employ any approximation. It builds these priors combining two parametrizations via a pullback: the first parametrizes the solutions for the system of differential equations and the second parametrizes all functions adhering to the boundary conditions.

연구 동기 및 목표

• 선형 편미분방정식과 경계 조건을 가우시안 프로세스 사전분포에 완전히 기호적으로, 정확하게 통합하는 방법을 개발하는 것.
• 모든 함수 실현값과 사후 평균이 편미분 시스템과 경계 제약 조건을 엄격히 만족하도록 보장하는 것.
• 대부분의 기존의 PDE 제약을 받는 GP 방법에서 흔한 근사 오류를 제거하기 위해 대수적 시스템 이론과 그뢰브너 기저를 사용하는 것.
• 물리 법칙, 경계 자료, 희소 관측치를 하나의 일관된 확률적 프레임워크 안에서 통합함으로써 1회 학습(one-shot learning)을 가능하게 하는 것.
• 표준 GP 회귀와 호환되며 기호 계산을 통해 완전히 재현 가능한 일반적이고 알고리즘적인 구성 방법을 제공하는 것.

제안 방법

• 이 방법은 계수들이 유리수 또는 상수인 선형 PDE 시스템의 해공간을 기호적으로 매개변수화하기 위해 그뢰브너 기저를 사용한다.
• 다항식 아이디얼의 영점 집합을 이용하여 경계 조건을 만족하는 함수들을 별도로 매개변수화한다.
• 이 두 매개변수화를 피복 구조를 통해 결합함으로써, 전체 PDE-경계값 문제의 정확한 해가 되는 새로운 가우시안 프로세스 사전분포를 정의한다.
• 기본 공분산 함수(예: 제곱 지수형)에 매개변수화 사상 함수를 적용하여 공분산 구조를 유도하며, 이로 인해 부드러움과 확률적 구조를 유지한다.
• 이 구성은 완전히 알고리즘적이고 정확하며, 수치적 근사나 정규화를 사용하지 않는다.
• 이 방법은 오직 한두 개의 관측치만을 가진 간단한 예제들에 대해 적용되었으며, 정확한 해 준수와 불확실성 정량화가 성립하는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 주어진 선형 PDE 시스템과 관련된 경계 조건을 정확히 만족하는 가우시안 프로세스 사전분포를 구성할 수 있는가?
• RQ2 수치적 근사 없이 기호 대수적 방법을 사용하여 이러한 사전분포를 구축할 수 있는가?
• RQ3 무한차원의 자료인 PDE의 경계 조건을 어떻게 GP 프레임워크에 통합할 수 있으며, 이를 통해 정확성을 유지할 수 있는가?
• RQ4 결과로 도출된 GP 사전분포는 최소한의 데이터로도 효과적으로 1회 학습 시나리오에 활용될 수 있는가?
• RQ5 그뢰브너 기저는 어떻게 완전히 알고리즘적이고 정확한 PDE 제약을 받는 GP 사전분포의 구성을 가능하게 하는가?

주요 결과

• 제안된 방법은 주어진 선형 PDE 시스템과 경계 조건의 정확한 해가 되는 실현값을 보장하는 가우시안 프로세스 사전분포를 구성한다.
• 이 구성은 근사치, 수치 이산화, 또는 사후 정규화에 의존하지 않으며 정확한 것으로서의 특성을 유지한다.
• 이 방법은 그뢰브너 기저를 사용하여 PDE의 해공간과 경계 조건 다양체를 모두 기호적으로 매개변수화함으로써 피복 기반의 구성이 가능하게 한다.
• 이 접근법은 비정상적, 다중 출력 GP를 지원하며 물리 법칙, 경계 자료, 관측 자료를 하나의 베이지안 프레임워크 안에 통합한다.
• 오직 한두 개의 관측치만을 가진 예제들에 대해 적용되었으며, 사후 평균 함수가 PDE와 경계 조건을 정확히 만족하는 것으로 나타났다.
• 재현 가능성을 보장하기 위해 부록에 코드와 데이터가 제공되어 있으며, 결과의 완전한 재현이 가능하다.