[논문 리뷰] A Framework for Interdomain and Multioutput Gaussian Processes

Mark van der Wilk, Vincent Dutordoir외 4명|arXiv (Cornell University)|2020. 03. 02.

Gaussian Processes and Bayesian Inference참고 문헌 42인용 수 63

한 줄 요약

이 논문은 인터도메인과 다중 출력 Gaussian 프로세스를 통합하는 모듈식이고 확장 가능한 변분 프레이크워크를 제시하며, 유연하고 입증 가능한 GP 추론과 딥 GP 아키텍처를 위한 GPflow 기반 구현을 제공한다.

ABSTRACT

One obstacle to the use of Gaussian processes (GPs) in large-scale problems, and as a component in deep learning system, is the need for bespoke derivations and implementations for small variations in the model or inference. In order to improve the utility of GPs we need a modular system that allows rapid implementation and testing, as seen in the neural network community. We present a mathematical and software framework for scalable approximate inference in GPs, which combines interdomain approximations and multiple outputs. Our framework, implemented in GPflow, provides a unified interface for many existing multioutput models, as well as more recent convolutional structures. This simplifies the creation of deep models with GPs, and we hope that this work will encourage more interest in this approach.

연구 동기 및 목표

• 대규모 문제와 깊은 GP 통합에 적합한 모듈식이고 확장 가능한 GP 추론의 필요성을 제시한다.
• 인터도메인 근사와 다중출력 GP 모델을 결합한 일원화된 수학적 프레임워크를 제시한다.
• 이 프레임워크가 GP에 대한 효율적인 변분 추론과 미니배치 학습을 어떻게 지원하는지 보여준다.
• 인터도메인 및 다중출력 구조에 대한 신속한 실험을 가능하게 하는 GPflow의 소프트웨어 구현을 제공한다.

제안 방법

• 단일 출력 및 다중출력 설정에 대한 가우스 프로세스 표기 및 조작을 설명한다.
• 인터도메인 가우스 프로세스 개념(인터도메인 관측값과 유도변수 포함)을 설명한다.
• 다중출력 GP에 대한 변분 추론을 개발하고 해당 후방분포와 주변 가능도 형태를 도출한다.
• 인터도메인 근사 및 다중출력 모델에 대한 인터페이스를 갖춘 GPflow의 일원화된 소프트웨어 프레임워크를 제시한다.
• 이 프레임워크 내에서 Linear Model of Coregionalization과 이미지 컨볼루셔널 GP와 같은 방법들을 시연한다.

실험 결과

연구 질문

• RQ1 인터도메인 근사가 확장 가능한 변분 프레임워크에서 다중출력 Gaussian 프로세스와 어떻게 통합될 수 있는가?
• RQ2 제안된 프레임워크가 기존의 다중출력 GP 모델을 통일하고 단순화하며 새로운 아키텍처(예: 컨볼루셔널 구조를 갖는 딥 GP)를 가능하게 할 수 있는가?
• RQ3 MOGP에서 인터도메인 유도변수의 계산 복잡도와 추론 효율성에 미치는 영향은 무엇인가?
• RQ4 실제 환경에서 다중출력 GP 모델의 빠른 실험 및 배포를 프레임워크가 어떻게 촉진할 수 있는가?

주요 결과

• 이 프레임워크는 대규모 데이터 세트에 적합한 복잡도 감소와 함께 인터도메인 및 다중출력 GP에 대한 확장 가능한 근사 추론을 가능하게 한다.
• GPflow는 기존의 다양한 다중출력 모델을 포괄하고 컨볼루션 구조를 지원하는 통합 인터페이스를 제공한다.
• 이 접근법은 변분 유도 변수와 미니배치 학습을 지원하여 학습 비용을 줄인다.
• 이 프레임워크는 Linear Model of Coregionalization 및 이미지 기반 GP 구성 등을 포함한 여러 모델을 일반화한다.
• 각 변형마다 맞춤 도출을 제거함으로써 GP를 포함하는 딥 모델 개발을 용이하게 하는 것을 목표로 한다.