[논문 리뷰] Non-Stationary Gaussian Process Regression with Hamiltonian Monte Carlo

Markus Heinonen, Henrik Mannerström외 3명|arXiv (Cornell University)|2015. 08. 18.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 42

한 줄 요약

이 논문은 잡음 분산, 신호 분산, 길이 척도가 모두 입력에 의존하는 완전히 비정상적인 가우시안 프로세스 회귀 모델을 제안한다. 이 모델은 해석적으로 유도된 기울기를 갖는 해밀토니안 몬테 카를로(HMC)를 통해 학습되며, 변분 근사 없이 정확한 베이지안 추론을 가능하게 한다. 이는 정상적 및 사전 비정상 모델보다 입력에 의존하는 역학을 더 잘 포착하며, 특히 시간적 유전자 발현 데이터에서 뛰어난 성능을 보인다.

ABSTRACT

We present a novel approach for fully non-stationary Gaussian process regression (GPR), where all three key parameters -- noise variance, signal variance and lengthscale -- can be simultaneously input-dependent. We develop gradient-based inference methods to learn the unknown function and the non-stationary model parameters, without requiring any model approximations. We propose to infer full parameter posterior with Hamiltonian Monte Carlo (HMC), which conveniently extends the analytical gradient-based GPR learning by guiding the sampling with model gradients. We also learn the MAP solution from the posterior by gradient ascent. In experiments on several synthetic datasets and in modelling of temporal gene expression, the nonstationary GPR is shown to be necessary for modeling realistic input-dependent dynamics, while it performs comparably to conventional stationary or previous non-stationary GPR models otherwise.

연구 동기 및 목표

• 잡음 분산, 신호 분산, 길이 척도가 모두 입력에 의존하는 완전히 비정상적인 가우시안 프로세스 회귀 프레임워크를 개발하는 것.
• 변분 또는 기대값 전파 근사 없이도 잠재 함수와 모델 하이퍼파rameter의 공동 사후분포에 대한 정확한 베이지안 추론을 가능하게 하는 것.
• 해밀토니안 몬테 카를로(HMC)에서 사용할 수 있는 분석 기울기를 활용하여 효율적인 사후 샘플링과 최대사후확률 추정(MAP)을 위한 기울기 상승법을 구현하는 것.
• 비정상적 모델링이 현실적인 입력에 의존하는 역학을 포착하는 데 필수적임을 입증하는 것, 특히 생물학적 시계열 데이터에서 그러하다.

제안 방법

• 길이 척도, 신호 분산, 잡음 분산의 로그를 별도의 가우시안 프로세스로 모델링하며, 제곱 지수 커널을 사용하여 양수성을 보장한다.
• 입력에 따라 달라지는 신호 분산 σ(x), 길이 척도 ℓ(x), 잡음 분산 ω(x)²에 의존하는 비정상적 제곱 지수 커널을 사용한다.
• 비제약 잠재 함수(log-ℓ, log-σ, log-ω)에 대한 마진 분포 로그우도의 분석 기울기를 유도하여 HMC 및 기울기 상승에 활용한다.
• HMC-NUTS를 사용하여 사후 샘플링을 수행하며, 분석 기울기를 기반으로 고차원 사후분포를 효율적으로 탐색한다.
• 사전 공분산 행렬의 코レス키 분해를 통한 사후 백색화를 적용하여 샘플링 효율성을 향상시킨다.
• 잠재 함수와 하이퍼파rameter의 공동 사후분포에 대해 적분하여 예측 분포를 계산한다.

실험 결과

연구 질문

• RQ1 입력에 의존하는 잡음, 신호 분산 및 길이 척도를 갖는 완전히 비정상적 GP 모델이 정상적 또는 부분적으로 비정상적인 모델보다 현실적인 입력에 의존하는 역학을 더 잘 포착할 수 있는가?
• RQ2 분석 기울기를 활용한 HMC가 변분 근사 없이도 완전히 비정상적 GP 프레임워크에서 효율적이고 정확한 사후 추론을 가능하게 하는가?
• RQ3 알려진 비정상적 역학을 갖는 시뮬레이션 데이터에서, 제안된 방법은 기준선인 정상적 및 비정상적 GP 모델보다 어떻게 성능을 발휘하는가?
• RQ4 이 모델은 실존하는 생물학적 시계열 데이터(예: 시간적 유전자 발현)에서 변화하는 부드러움과 잡음 특성들을 효과적으로 포착할 수 있는가?

주요 결과

• 실제로 입력에 의존하는 역학을 정확히 모델링하기 위해 비정상적 GP 모델이 필요하며, 특히 신호의 부드러움과 잡음 분산이 시간에 따라 변화하는 시스템에서 그러하다.
• 알려진 비정상적 행동을 갖는 시뮬레이션 데이터셋에서, 모델은 진짜 입력에 의존하는 신호 분산, 길이 척도, 잡음 분산을 성공적으로 복원한다.
• 시간적 유전자 발현 데이터에서 비정상적 모델은 초기에 급격한 변화를 포착하고 이후에는 더 부드러운 동역학을 반영하는 반면, 정상적 모델은 이를 표현하지 못한다.
• 비정상성이 두드러지지 않는 데이터셋에서는 HMC 기반 추론가 기존의 정상적 및 이전의 비정상적 GP 모델과 유사한 예측 성능을 달성한다.
• HMC에서 분석 기울기를 사용함으로써 효율적인 샘플링과 정확한 사후 탐색이 가능해지며, 변분 근사의 부정확성 문제를 피할 수 있다.
• 사후분포에서 기울기 상승을 통해 도출된 MAP 해는 예측 정확도 측면에서 전체 사후 샘플링과 동일한 성능을 보인다.