[논문 리뷰] Scalable Training of Inference Networks for Gaussian-Process Models

Jiaxin Shi, Mohammad Emtiyaz Khan외 1명|arXiv (Cornell University)|2019. 05. 27.

Gaussian Processes and Bayesian Inference참고 문헌 53인용 수 4

한 줄 요약

이 논문은 기능 공간에서 베이지안 필터를 추적하는 스토하스틱 기능 미러강하 알고리즘을 사용하여 가우시안 프로세스 모델용 확장 가능하고 미니배치 학습이 가능한 추론 네트워크를 제안한다. 이 방법은 유도점 제한 없이 데이터 배치 간 출력 상관관계를 효율적으로 유지함으로써 유연하고 고용량의 사후 근사치를 가능하게 하며, 회귀 및 분류 작업에서 희소 변분 GP 방법을 능가한다.

ABSTRACT

Inference in Gaussian process (GP) models is computationally challenging for large data, and often difficult to approximate with a small number of inducing points. We explore an alternative approximation that employs stochastic inference networks for a flexible inference. Unfortunately, for such networks, minibatch training is difficult to be able to learn meaningful correlations over function outputs for a large dataset. We propose an algorithm that enables such training by tracking a stochastic, functional mirror-descent algorithm. At each iteration, this only requires considering a finite number of input locations, resulting in a scalable and easy-to-implement algorithm. Empirical results show comparable and, sometimes, superior performance to existing sparse variational GP methods.

연구 동기 및 목표

• 미니배치 설정에서 기능 공간 상관관계를 유지하는 것이 어려운 상황에서, 유연한 추론 네트워크를 위한 가우시안 프로세스 모델 학습의 과제를 해결하기 위해.
• 작은 수의 유도점에 의존하는 희소 변분 GP 방법의 한계를 극복하기 위해.
• 스토하스틱 그래디언트를 사용하여 깊은 신경망을 GP 모델의 사후 근사기로 확장 가능하고 안정적이며 고성능으로 학습할 수 있도록 하기 위해.
• 유도점 기반 GP 추론의 더 유연한 대안을 제공하여, 딥 네트워크에서 유도된 복잡한 구조적 커널을 지원하기 위해.

제안 방법

• 이 방법은 기능 공간에서 베이지안 필터를 추적하기 위해 스토하스틱 기능 미러강하 알고리즘을 사용하며, 이는 계산적으로 비가역적이지만 근사의 목표로 사용된다.
• 학습 단계마다, 알고리즘은 데이터의 미니배치를 사용하여 스토하스틱 그래디언트를 계산하고 추론 네트워크를 업데이트함으로써 기능 출력 간 의미 있는 상관관계를 유지한다.
• 추론 네트워크는 자신의 현재 근사치에서 부트스트랩하여 반복적으로 개선되며, 전체 데이터를 통과시킬 필요 없이도 가능하다.
• 이 방법은 랜덤 특징 전개 및 깊은 컨볼루션 네트워크를 포함한 다양한 네트워크 아키텍처를 지원하며, 분류 작업에 적합한 비공액 우도(예: 소프트맥스)와도 호환된다.
• 이 접근법은 교사-학생 프레임워크에서 해석되며, '교사'는 현재 네트워크에서 유도된 미러강하 업데이트이므로 효율적이고 확장 가능하다.
• 이 방법은 무한한 너비의 베이지안 컨볼루션 네트워크에서 깊은 컨볼루션 네트워크를 GP 추론을 위해 학습할 수 있게 하여, 이러한 커널에서 일반적으로 나타나는 수치적 불안정성 문제를 해결한다.

실험 결과

연구 질문

• RQ1 기능 출력 간 의미 있는 상관관계를 유지하면서, 미니배치 스토하스틱 그래디언트를 사용하여 GP 모델용 유연한 추론 네트워크를 학습시킬 수 있는가?
• RQ2 기능적 미러강하 기반 학습 알고리즘이 기존의 희소 변분 GP 방법보다 예측 정확도와 일반화 성능 측면에서 뛰어나게 되는가?
• RQ3 제안된 방법은 딥 네트워크에서 유도된 복잡하고 구조적인 커널, 특히 분류 작업에서 확장 가능한가?
• RQ4 유도점에 의존하지 않고 깊은 컨볼루션 네트워크를 GP 모델의 추론 네트워크로 학습시킬 수 있으며, 이는 더 높은 성능을 이끌어내는가?

주요 결과

• Bikes 및 Kegg 데이터셋에서 GPNet은 모든 방법 중 최고의 RMSE를 기록하였으며, 특히 유도점 수가 적을 경우 SVGP와의 성능 격차가 뚜렷했다.
• SVGP의 M=100과 M=500 사이의 RMSE 격차는 GPNet보다 더 크며, 이는 GPNet의 성능이 유도점 수에 제한되지 않음을 시사한다.
• MNIST와 CIFAR10에서 GPNet은 각각 테스트 오류율 1.12%와 24.63%를 기록하여, 깊은 유연한 컨볼루션 네트워크 추론 네트워크를 사용함에도 불구하고 SVGP 및 기타 희소 GP 기반 모델을 능가했다.
• 이 방법은 CNN-GP 사전분포를 위한 깊은 컨볼루션 네트워크를 성공적으로 학습하여, 이러한 커널에서 일반적으로 발생하는 SVGP의 수치적 불안정성 문제를 해결하고 분류 작업에서 최고 성능을 달성했다.
• 이전의 미니배치 추론 네트워크 학습에서 나타났던 과적합 및 과소적합 문제를 피했으며, 특히 M이 커질수록 성능이 떨어지는 FBNN 모델의 경우 더욱 두드러졌다.
• 실험 결과 GPNet은 복잡한 구조적 커널과 고차원 데이터에 대해 기존의 희소 GP 방법보다 더 민첩하고도 더 높은 유연성의 대안임을 보여주었다.