[논문 리뷰] Noise Estimation in Gaussian Process Regression

Siavash Ameli, Shawn C. Shadden|arXiv (Cornell University)|2022. 06. 20.

Gaussian Processes and Bayesian Inference인용 수 5

한 줄 요약

이 논문은 다변량 최적화 문제를 단일 변수의 근 찾기 문제로 축소시킴으로써 가우시안 프로세스 회귀에서 잡음과 상관된 오차 분산을 계산적으로 효율적으로 추정하는 방법을 제안한다. 경계 및 점점 가까워지는 근사값을 분석적으로 유도함으로써, 고차원 공간에서의 반복 최적화에 의존하지 않고도 강건하고 확장 가능한 매개변수 추정이 가능하다.

ABSTRACT

We develop a computational procedure to estimate the covariance hyperparameters for semiparametric Gaussian process regression models with additive noise. Namely, the presented method can be used to efficiently estimate the variance of the correlated error, and the variance of the noise based on maximizing a marginal likelihood function. Our method involves suitably reducing the dimensionality of the hyperparameter space to simplify the estimation procedure to a univariate root-finding problem. Moreover, we derive bounds and asymptotes of the marginal likelihood function and its derivatives, which are useful to narrowing the initial range of the hyperparameter search. Using numerical examples, we demonstrate the computational advantages and robustness of the presented approach compared to traditional parameter optimization.

연구 동기 및 목표

• 가우시안 프로세스 회귀에서 가감성 잡음이 존재하는 경우 고차원 초모수 최적화의 계산적 과제를 해결하기 위해.
• 반모수 모델에서 상관된 오차 분산과 i.i.d. 잡음 분산을 모두 강건하고 효율적으로 추정할 수 있도록 하기 위해.
• 프로파일링 기법을 사용하여 다변량 최적화 문제를 단일 변수의 근 찾기 문제로 축소하기 위해.
• 최대우도 함수와 그 도함수의 분석적 경계 및 점점 가까워지는 근사값을 도출하여 검색 간격을 좁히기 위해.
• 伝통적인 기울기 기반 또는 전역 최적화 방법과 비교해 수렴성과 계산 효율성을 향상시키기 위해.

제안 방법

• 이 방법은 잡음과 상관된 오차 분산을 프로파일링하여 초모수 공간을 축소시키며, 문제를 단일 변수의 근 찾기 문제로 변환한다.
• 혼합 공분산 구조를 가진 가우시안 프로세스 모델의 최대우도 함수를 활용한다: $\Sigma = \sigma^2 K(\mathbf{x},\mathbf{x}'|\boldsymbol{\theta}) + \sigma_0^2 I(\mathbf{x},\mathbf{x}')$.
• 큰 $\eta = \sigma^2 / \sigma_0^2$ 의 극한에서 최대우도 함수와 그 도함수의 점점 가까워지는 전개를 유도하여 검색 공간에 대한 분석적 경계를 제공한다.
• 비율 $\eta$ 가 큰 근사 영역에서, 노이먼 급수 전개를 사용하여 역공분산 행렬과 사영 연산자를 근사한다.
• 이 방법은 사영 행렬 $\mathbf{Q} = \mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top$ 과 그 수직 컴플레멘트 $\mathbf{Q}_\perp = \mathbf{I} - \mathbf{Q}$ 을 사용하여 문제를 분해한다.
• 핵심 구성 요소로는 $\mathbf{P}_\eta = \mathbf{K}_\eta^{-1}\mathbf{X}(\mathbf{X}^\top\mathbf{K}_\eta^{-1}\mathbf{X})^{-1}\mathbf{X}^\top\mathbf{K}_\eta^{-1}$ 과 $\mathbf{M}_{1,\eta} = \mathbf{K}_\eta^{-1}\mathbf{P}_\eta$ 의 점점 가까워지는 전개가 있으며, 이는 $\eta^{-1}$ 의 거듭제곱 형태로 단순화된다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 회귀에서 잡음과 상관된 오차 분산의 동시 추정을 단일 변수의 근 찾기 문제로 축소시킬 수 있는가?
• RQ2 신호 대 잡음 비율이 매우 클 경우 최대우도 함수와 그 도함수의 점점 가까워지는 행동은 어떠한가?
• RQ3 최대우도 함수에 대한 분석적 경계는 초모수 최적화의 강건성 향상에 어떻게 활용될 수 있는가?
• RQ4 제안된 방법은 전통적인 최적화 기법과 비교해 수렴성과 계산 비용 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 이상치가 많거나 고차원적인 설계 행렬에서 이 방법은 얼마나 안정적이고 정확한가?

주요 결과

• 기존의 다변량 최적화 문제를 단일 변수의 근 찾기 문제로 축소시킴으로써 계산이 크게 단순화된다.
• 최대우도 함수와 그 도함수의 점점 가까워지는 전개가 $\mathcal{O}(\eta^{-3})$ 까지 유도되었으며, 이는 검색 공간에 대한 정밀한 경계를 제공한다.
• 사영 행렬 $\mathbf{P}_\eta$ 는 점점 가까워지는 전개로 $\mathbf{P}_\eta = \mathbf{Q} + \frac{1}{\eta}\mathbf{Q}_\perp\mathbf{K}\mathbf{Q} - \frac{1}{\eta^2}\mathbf{Q}_\perp(\mathbf{K}\mathbf{Q})^2 + \mathcal{O}(\eta^{-3})$ 로 표현된다.
• 행렬 $\mathbf{M}_{1,\eta} = \mathbf{K}_\eta^{-1}\mathbf{P}_\eta$ 는 $\frac{1}{\eta}\mathbf{Q}(\mathbf{I} - \frac{1}{\eta}\mathbf{K}\mathbf{Q} + \frac{1}{\eta^2}(\mathbf{K}\mathbf{Q})^2) + \mathcal{O}(\eta^{-4})$ 로 단순화됨을 보였다.
• 수치 예제들은 특히 고차원 또는 조건이 나쁜 설정에서 표준 최적화 방법과 비교해 뛰어난 계산 효율성과 강건성을 보였다.