[논문 리뷰] Linearly constrained Gaussian processes

Carl Jidling, Niklas Wahlström외 2명|arXiv (Cornell University)|2017. 03. 02.

Gaussian Processes and Bayesian Inference인용 수 33

한 줄 요약

이 논문은 다변량 정규분포 과정에 선형 연산자 제약 조건(예: 콘서버 없는 조건 또는 수렴 없는 조건)을 통합하기 위한 방법을 제안한다. 이는 기저가 되는 GP를 선형 연산자로 변환하여 제약 조건을 정확히 만족시키는 방식이다. 이 방법은 모든 표본과 예측이 정확히 제약 조건을 만족함을 보장하며, 자기장 예측과 같은 문제에서 정확도를 향상시킨다. 시뮬레이션 및 실제 실험 모두에서 성능 향상이 입증되었다.

ABSTRACT

We consider a modification of the covariance function in Gaussian processes to correctly account for known linear constraints. By modelling the target function as a transformation of an underlying function, the constraints are explicitly incorporated in the model such that they are guaranteed to be fulfilled by any sample drawn or prediction made. We also propose a constructive procedure for designing the transformation operator and illustrate the result on both simulated and real-data examples.

연구 동기 및 목표

• 정규분포 과정 회귀에서 알려진 선형 연산자 제약 조건(예: 미분 방정식 또는 보존 법칙)을 강제로 이행하는 데 도전하는 것.
• 모든 GP 표본과 예측이 근사치로가 아니라 정확히 제약 조건을 만족하도록 보장하는 방법을 개발하는 것.
• 제약 조건을 공분산 함수에 통합하는 데 사용할 수 있는 변환 연산자를 설계하는 구조적이고 확장 가능한 절차를 제공하는 것.
• 합성 문제와 실제 응용 사례(예: 콘서버 없는 조건이 있는 자기장 예측) 모두에서 방법의 효과성을 입증하는 것.

제안 방법

• 목표 함수를 기저가 되는 GP의 선형 변환으로 모델링하며, 변환 연산자가 원하는 선형 제약 조건을 강제로 이행한다.
• 정규분포 과정이 선형 연산에 대해 닫혀 있다는 성질을 활용하여, 변환된 과정가 여전히 유효한 GP이며 평균과 공분산 함수가 수정된 상태로 유지됨을 보장한다.
• 균일 다항식 기반의 미분 연산자 기반을 사용하여 변환 연산자를 구성함으로써 제약 조건 유지를 보장하는 커널을 체계적으로 유도한다.
• 제약 조건 이행을 균일 선형 시스템으로 공식화하여 다항식 계수의 영공간을 계산함으로써 정확한 이행을 보장한다.
• 새로운 공분산 함수를 $ K_{\text{constrained}}(\mathbf{x}, \mathbf{x}') = \mathbf{A}^T K(\mathbf{x}, \mathbf{x}') \mathbf{A} $ 로 유도한다. 여기서 $ \mathbf{A} $ 는 변환 행렬이다.
• 유도된 제약 조건이 포함된 GP를 회귀에 사용하며, 표준 GP 기계를 그대로 사용하여 추론과 예측을 수행하지만, 제약 조건 이행 보장을 받는다.

실험 결과

연구 질문

• RQ1 어떻게 다변량 정규분포 과정 모델에서 선형 연산자 제약 조건(예: 콘서버 없는 조건 또는 수렴 없는 조건)을 정확히 이행할 수 있는가?
• RQ2 임의의 선형 제약 조건을 정규분포 과정의 공분산 구조에 통합하는 데 사용할 수 있는 변환 연산자를 체계적으로 설계할 수 있는 절차를 개발할 수 있는가?
• RQ3 제약 조건 이행이 실제 회귀 과제에서 예측 정확도와 불확실성 정량화에 어떤 영향을 미치는가?
• RQ4 관측된 점에서만 제약 조건을 이행하는 방법과 비교해 볼 때, 제안된 방법은 어떤가?
• RQ5 실제 응용에서 물리 법칙으로부터 유도되는 복잡한 고차원 제약 조건에도 이 방법이 확장 가능한가?

주요 결과

• 제안된 방법은 GP에서 추출된 모든 표본과 모든 예측이 주어진 선형 제약 조건을 정확히 만족함을 보장한다. 관측된 점에서만 만족하는 것이 아니라.
• 자기장 추정 과제에서 예측 정확도가 향상되었으며, 제약 조건이 없는 GP 기반 모델과 비교해 낮은 예측 오차를 보였다.
• 변환 기반 접근은 제약 조건을 이행하기 위해 허구적 측정값을 추가하는 방법과 달리 문제의 차원을 늘리지 않는다.
• 변환 연산자를 설계하는 체계적 절차는 임의의 선형 연산자 제약 조건에 대해 일반화 가능하며 적용 가능하다.
• 실제 데이터를 사용한 이동 센서 플랫폼에서 3차원 자기장 예측 과제에서 콘서버 없는 조건을 성공적으로 통합하였으며, 더 높은 정밀도를 달성하였다.
• 이 방법은 전자기장과 같이 미분 제약 조건에 의해 지배되는 물리 시스템을 정확하게 모델링할 수 있으며, 계산 효율성도 손상시키지 않는다.