[논문 리뷰] Gaussian Process Regression Networks

Andrew Gordon Wilson, David A. Knowles외 1명|arXiv (Cornell University)|2011. 10. 19.

Gaussian Processes and Bayesian Inference참고 문헌 44인용 수 122

한 줄 요약

Gaussian Process Regression Networks (GPRN)는 베이지안 신경망과 가우시안 프로세스를 융합하여 입력에 의존하는 신호 및 노이즈 상관관계, 길이 척도, 진폭, 그리고 무거운 尾를 가진 예측 분포를 모델링하는 새로운 회귀 프레임워크를 제안한다. 이 방법은 다중 출력 및 다변량 변동성 모델링에서 뛰어난 성능을 발휘하며, 기준 데이터셋(1000차원 유전자 발현 데이터셋 포함)에서 8개의 다중 작업 GP 모델과 3개의 변동성 모델을 모두 능가한다.

ABSTRACT

We introduce a new regression framework, Gaussian process regression networks (GPRN), which combines the structural properties of Bayesian neural networks with the non-parametric flexibility of Gaussian processes. This model accommodates input dependent signal and noise correlations between multiple response variables, input dependent length-scales and amplitudes, and heavy-tailed predictive distributions. We derive both efficient Markov chain Monte Carlo and variational Bayes inference procedures for this model. We apply GPRN as a multiple output regression and multivariate volatility model, demonstrating substantially improved performance over eight popular multiple output (multi-task) Gaussian process models and three multivariate volatility models on benchmark datasets, including a 1000 dimensional gene expression dataset.

연구 동기 및 목표

• 다중 출력 간 입력에 의존하는 신호 및 노이즈 상관관계를 포괄하는 유연한 회귀 프레임워크를 개발하는 것.
• 베이지안 신경망의 구조적 적응성과 가우시안 프로세스의 비모수적 표현력을 통합하는 것.
• 수치적 불안정성 없이 입력에 의존하는 길이 척도, 진폭, 그리고 중량이 무거운 예측 분포를 모델링할 수 있도록 하는 것.
• 마르코프 체인 몬테카를로(MCMC) 및 변분 베이즈(VB) 방법을 통한 효율적 추론을 제공하는 것.
• 기존 모델들과 비교해 실제 다중 출력 및 다변량 변동성 데이터셋에서 예측 성능이 뛰어나다는 것을 입증하는 것.

제안 방법

• GPRN은 가중치 행렬 W(x)를 통해 잠재 가우시안 프로세스의 선형 변환으로 출력을 모델링하며, W(x) 자체는 독립적인 가우시안 프로세스의 집합이다.
• W(x)와 추가 노이즈 항목 σ_f 및 σ_y를 통해 입력에 의존하는 신호 및 노이즈 상관관계를 포함하여, 탄력적이고 비정상적인 공분산 구조를 허용한다.
• 출력의 결합 분포는 계층적 가우시안 프로세스 모델로 유도되며, 예측 분포는 잠재 함수와 가중치에 대한 주변화를 통해 계산된다.
• 효율적인 MCMC 추론은 조건부 공액성을 활용한 지속적 기반 샘플링(Gibbs sampling)을 통해 수행되며, 변분 베이즈는 초모수에 대한 분석적 업데이트를 포함한 평균장 근사법을 사용한다.
• 노이즈 분포를 스튜던트-t 또는 라플라스 분포로 허용함으로써 비정규 노이즈를 지원하여 이상치에 대한 강건성을 향상시킨다.
• 예측 분포는 변분 후행 분포에 대한 기대값을 사용해 분석적으로 계산되며, 이는 빠르고 안정적인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 베이지안 신경망과 가우시안 프로세스를 융합한 하이브리드 모델이 다중 출력 회귀에서 입력에 의존하는 신호 및 노이즈 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 복잡한 상관관계 구조를 가진 실제 데이터셋에서 GPRN은 기존의 다중 작업 가우시안 프로세스 모델보다 어떻게 성능을 발휘하는가?
• RQ3 GPRN은 입력에 의존하는 길이 척도와 진폭을 포괄하면서도 계산 효율성과 수치적 안정성을 유지할 수 있는가?
• RQ4 무거운 꼬리 노이즈 분포의 포함이 이상치에 대한 강건성을 향상시키는가?
• RQ5 고차원 회귀 과제에서 MCMC와 변분 베이즈 추론 절차는 정확성과 확장성 측면에서 어떻게 비교되는가?

주요 결과

• GPRN은 유전자 발현 및 지구통계 데이터셋에서 8개의 유명한 다중 작업 가우시안 프로세스 모델을 뛰어넘었으며, 1000차원 유전자 발현 데이터셋을 포함한다.
• 금융 기준 데이터셋에서 GPRN은 3개의 다변량 변동성 모델보다 상당히 뛰어난 성능을 보였으며, 강력한 예측 정확도를 입증했다.
• 모델은 입력에 의존하는 신호 및 노이즈 상관관계를 성공적으로 포착하여, 상관관계가 있는 반응 변수가 존재하는 상황에서 개선된 예측을 가능하게 했다.
• MCMC와 변분 베이즈 추론 절차 모두 효과적이었으며, 특히 다변량 변동성 실험에서 노이즈가 거듭제곱될 경우 MCMC가 더 뛰어난 수치적 안정성을 보였다.
• 무거운 꼬리 노이즈 분포(예: 스튜던트-t)의 사용은 이상치에 대한 강건성을 향상시켰으며, 특히 꼬리가 두꺼운 오차 구조를 가진 금융 데이터에서 두드러졌다.
• 가중치 W(x)를 제곱함으로써 MCMC의 수치적 안정성이 향상되었지만, 경험적 성능에는 유의미한 향상가 없었으며, 이는 모델이 다중 최적화점에 대해 본질적으로 강건함을 시사한다.