[논문 리뷰] Robust Gaussian Process Regression with Huber Likelihood

Pooja Algikar, Lamine Mili|arXiv (Cornell University)|2023. 01. 19.

Gaussian Processes and Bayesian Inference인용 수 10

한 줄 요약

본 논문은 외란에 대한 강건성을 달성하기 위하여 Huber likelihood를 사용하는 GP 회귀 프레임워크를 도입하고, 잔차 가중치를 위한 projection statistics를 활용하며 추론을 Laplace approximation와 MCMC로 시연한다; 합성 데이터와 실제 데이터에서 GP-Huber를 t 및 Laplace 기반 GP 모델과 비교한다.

ABSTRACT

Gaussian process regression in its most simplified form assumes normal homoscedastic noise and utilizes analytically tractable mean and covariance functions of predictive posterior distribution using Gaussian conditioning. Its hyperparameters are estimated by maximizing the evidence, commonly known as type II maximum likelihood estimation. Unfortunately, Bayesian inference based on Gaussian likelihood is not robust to outliers, which are often present in the observational training data sets. To overcome this problem, we propose a robust process model in the Gaussian process framework with the likelihood of observed data expressed as the Huber probability distribution. The proposed model employs weights based on projection statistics to scale residuals and bound the influence of vertical outliers and bad leverage points on the latent functions estimates while exhibiting a high statistical efficiency at the Gaussian and thick tailed noise distributions. The proposed method is demonstrated by two real world problems and two numerical examples using datasets with additive errors following thick tailed distributions such as Students t, Laplace, and Cauchy distribution.

연구 동기 및 목표

• 노이즈가 두꺼운 꼬리나 이상치에 오염된 경우 Gaussian process 모델에서의 강건한 회귀를 동기화한다.
• Huber loss와 projection-statistic 기반 가중치를 사용하여 이상치를 축소하는 GP-Huber 회귀 모델을 개발한다.
• GP-Huber 모델에 대한 근사적 베이지안 추론 방법(Laplace approximation 및 하이브리드 MCMC)과 하이퍼파라미터 추정을 제공한다.
• 강건성과 정확성을 입증하기 위해 두꺼운 꼬리 분포가 있는 합성 데이터 세트와 실제 애플리케이션에서 제안된 접근법을 평가한다.

제안 방법

• 잠재 함수 f에 대해 Gaussian process prior를 갖는 GP 사전분포를 형성하고 관측치에 대해 비가우시안(Huber) 가능성을 정의한다.
• Projection statistics를 사용하여 잔차에 대한 견고한 가중치를 계산하기 위해 표준화된 잔차를 정의한다.
• Huber loss 기반 가능성을 채택하여 정상 지점에서의 가우시안 유사한 동작과 이상치에서의 무거운 꼬리를 결합한다.
• 스케일-혼합 표현과 Laplace approximation을 사용하여 근사적 주변 가능도와 MAP 추정치를 도출한다.
• Huber likelihood를 사용할 때 Posterior로부터 샘플링하기 위해 Hybrid Monte Carlo(HMC)을 활용하여 견고한 추론을 가능하게 한다.
• Laplace, EP, MCMC 등 다양한 근사 추론 체계 하에서 GP-Huber를 Student’s t 및 Laplace likelihood GP 모델과 비교한다.

실험 결과

연구 질문

• RQ1 Huber-based likelihood가 Gaussian process 회귀에서 수직 방향의 이상치 및 영향점에 대한 강건성을 제공할 수 있는가?
• RQ2 데이터의 꼬리가 두꺼운 노이즈 하에서 GP-Huber가 Student’s t 또는 Laplace likelihood GP 모델과 비교하여 어떤 성능을 보이는가?
• RQ3 추론에 효과적인 근사 베이지안 기법(Laplace, HMC)이 GP-Huber에서 어떤 영향을 미치며 예측 성능과 불확실성에 어떤 차이가 나타나는가?
• RQ4 projection-statistic 기반 가중치가 Gaussian-like 데이터에서 효율성을 해치지 않으면서 영향력 있는 이상치를 효과적으로 축소하는가?

주요 결과

• GP-Huber는 projection-statistic 가중치와 Huber loss를 통해 오염된 잔차를 다운웨이트함으로써 이상치에 대한 강건성을 달성한다.
• Laplace approximation과 Hybrid Monte Carlo는 비가우시안 가능도에도 불구하고 GP-Huber 모델에 대해 실현 가능한 추론을 가능하게 한다.
• Student’s t 및 Laplace likelihood GP 모델과 비교할 때 GP-Huber는 두꺼운 꼬리 노이즈 설정에서 경쟁력 있는 또는 향상된 강건성을 시연한다.
• Neal 및 Friedman 데이터셋에 대한 실험 결과는 다양한 오차 분포 하에서 특정 경쟁 강건 GP 방법들보다 GP-Huber의 우수한 성능을 보여준다.
• 실세계 응용 예로 외계 행성 분광학 및 보스턴 주택 데이터가 포함되며 GP-Huber 접근법의 실용적 유용성을 입증한다.