[논문 리뷰] Improving the Gaussian Process Sparse Spectrum Approximation by Representing Uncertainty in Frequency Inputs

Yarin Gal, Richard E. Turner|arXiv (Cornell University)|2015. 03. 09.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 29

한 줄 요약

이 논문은 일반화를 향상시키고 과적합을 방지하기 위해 주파수 입력의 불확실성을 모델링하는 희소 스펙트럼 가우시안 프로세스(GP) 근사에 대한 변분 추론 접근법을 제안한다. 공분산 함수의 유한 푸리에 급수 근사를 변분 사후분포를 가진 랜덤 변수로 간주함으로써, 표준 희소 스펙트럼 또는 가짜 입력 GP 근사보다 더 높은 성능을 달성하며, 스트리밍 및 분산 변형을 통해 확장 가능한 추론을 실현한다.

ABSTRACT

Standard sparse pseudo-input approximations to the Gaussian process (GP) cannot handle complex functions well. Sparse spectrum alternatives attempt to answer this but are known to over-fit. We suggest the use of variational inference for the sparse spectrum approximation to avoid both issues. We model the covariance function with a finite Fourier series approximation and treat it as a random variable. The random covariance function has a posterior, on which a variational distribution is placed. The variational distribution transforms the random covariance function to fit the data. We study the properties of our approximate inference, compare it to alternative ones, and extend it to the distributed and stochastic domains. Our approximation captures complex functions better than standard approaches and avoids over-fitting.

연구 동기 및 목표

• 주파수를 직접 최적화하는 데서 발생하는 희소 스펙트럼 GP 근사에서 흔한 과적합 문제를 해결한다.
• 주파수 입력의 불확실성을 통합하여 전역적으로 복잡한 함수를 더 잘 모델링한다.
• 변분 추론을 활용해 대규모 및 분산 데이터에 대한 확장 가능한 추론 프레임워크를 개발한다.
• 비정상적이고 유한 질량 공분산 근사를 통해 GP 회귀에서 체계적인 불확실성 측정을 가능하게 한다.
• 모델 복잡도가 증가함에 따라 표준 희소 스펙트럼 및 가짜 입력 접근법과는 달리 과적합을 피하는지 확인한다.

제안 방법

• 몬테카를로 적분을 사용해 유한 푸리에 급수로 정적 GP 공분산 함수를 근사한다.
• 유한 푸리에 근사를 불확실한 사후분포를 가진 랜덤 변수로 간주한다.
• 푸리에 계수에 대한 사후분포를 근사하기 위해 변분 추론을 적용하며, 데이터에 맞게 공분산을 변형하는 변분 분포를 도입한다.
• 모델을 정규화하고 과적합을 방지하기 위해 푸리에 계수에 사전분포를 적용한다.
• 분산 및 스트리밍 추론을 위한 요소로 분해되는 마진형 우도의 하한을 유도한다.
• 소형 배치와 적응형 최적화(예: RMSPROP)를 사용해 스트리밍 변분 추론을 구현함으로써 대규모 데이터셋에 확장 가능하게 한다.

실험 결과

연구 질문

• RQ1 희소 스펙트럼 GP 근사에서 주파수의 불확실성을 모델링하면 일반화 성능 향상과 과적합 감소에 기여하는가?
• RQ2 제안된 변분 추론 프레임워크는 표준 희소 스펙트럼 및 희소 가짜 입력 GP 근사와 비교해 정확도와 견고성 측면에서 어떻게 성능을 내는가?
• RQ3 예측 성능를 유지하면서도 분산 및 스트리밍 추론을 통해 효율적으로 확장 가능한가?
• RQ4 특히 고복잡도 시나리오에서 유도 주파수 수가 증가함에 따라 모델이 과적합을 피하는가?
• RQ5 실제 음성 데이터에서 변분 희소 스펙트럼 GP의 성능은 전체 GP 및 무작위 투영 방법과 비교해 어떻게 되는가?

주요 결과

• 제안된 VSSGP 방법은 TIMIT 음성 데이터에서 sSPGP(RMSE 0.034, STFT 오차 0.43) 및 기준값 0-예측(STFT 오차 0.62)보다 더 낮은 테스트 세트 RMSE(0.034)와 더 낮은 STFT 기반 복원 오차(0.3)를 달성한다.
• fVSSGP와 sfVSSGP는 VSSGP와 유사한 테스트 정확도(RMSE ~0.034)를 확보하면서 시간 복잡도를 감소시켜 주파수 최적화가 성능에 악영향을 주지 않음을 보여준다.
• sfVSSGP는 K=400일 때 48분의 학습 시간을 기록하며, sSPGP(133분)보다 훨씬 빠르며, 테스트 오차는 동일하거나 향상된다.
• 유도 점 수가 400을 초과해 증가함에 따라 과적합이 발생하지 않으며, 안정적인 테스트 오차를 유지하면서 학습 오차가 향상된다.
• 변분 추론의 시간 복잡도는 O(NK²)이며, 스트리밍 변형은 O(SK²)로 스케일링 가능해 대규모 추론에 효율적이다.
• 정확도와 견고성 측면에서 기준 방법들을 능가하며, 특히 음성 신호와 같은 전역적으로 변화가 큰 복잡한 함수에 대해 뛰어난 성능을 보인다.