[논문 리뷰] GPflux: A Library for Deep Gaussian Processes

Vincent Dutordoir, Hugh Salimbeni외 8명|arXiv (Cornell University)|2021. 04. 12.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 7

한 줄 요약

GPflux는 GPflow와 Keras를 통합하여 딥 가우시안 프로세스(DGPs)를 위한 베이지안 딥 러닝을 가능하게 하는 파이썬 라이브러리입니다. 최신 DGP 모델 및 추론 기법의 모듈식, 확장 가능하고 효율적인 구현을 제공하며, 표준 신경망 레이어와 혼합된 하이브리드 아키텍처를 단일, 프로덕션 준비된 프레임워크에서 지원합니다. Keras와 완전히 호환됩니다.

ABSTRACT

We introduce GPflux, a Python library for Bayesian deep learning with a strong emphasis on deep Gaussian processes (DGPs). Implementing DGPs is a challenging endeavour due to the various mathematical subtleties that arise when dealing with multivariate Gaussian distributions and the complex bookkeeping of indices. To date, there are no actively maintained, open-sourced and extendable libraries available that support research activities in this area. GPflux aims to fill this gap by providing a library with state-of-the-art DGP algorithms, as well as building blocks for implementing novel Bayesian and GP-based hierarchical models and inference schemes. GPflux is compatible with and built on top of the Keras deep learning eco-system. This enables practitioners to leverage tools from the deep learning community for building and training customised Bayesian models, and create hierarchical models that consist of Bayesian and standard neural network layers in a single coherent framework. GPflux relies on GPflow for most of its GP objects and operations, which makes it an efficient, modular and extensible library, while having a lean codebase.

연구 동기 및 목표

• 베이지안 딥 러닝 분야에서 깊이 있는 가우시안 프로세스(DGPs)를 위한 활발히 유지 관리되고 확장 가능하며 오픈소스인 라이브러리의 부족을 보완하기 위해.
• 연구자들이 새로운 DGP 모델 및 추론 기법을 효율적으로 구현할 수 있도록 재사용 가능하고 모듈식인 구성 요소를 제공하기 위해.
• 실무자들이 표준 딥 러닝 도구를 사용해 하이브리드 베이지안 및 딥 신경망 모델을 구축, 훈련, 배포할 수 있도록 하기 위해.
• 다중 변수 가우시안 조건부 분포 및 인덱스 추적과 같은 수학적 세부 사항을 추상화하여 DGPs 구현의 복잡성을 줄이기 위해.
• 지속적 통합, 97퍼센트 이상의 테스트 커버리지, 그리고 포괄적인 문서화를 통해 높은 코드 품질과 사용성을 확보하기 위해.

제안 방법

• GPflux는 텐서플로우 위에 구축되었으며, Keras와 통합되어 모델 컴파일, 콜백, 모델 저장과 같은 딥 러닝 생태계 도구를 원활하게 사용할 수 있도록 합니다.
• 핵심 가우시안 프로세스 연산을 위해 GPflow를 활용하여 효율성과 모듈성을 확보하면서도, 경량 코드베이스를 유지합니다.
• 특수화된 레이어를 제공합니다. 예를 들어, DGP 구성 요소용 GPLayer, 확장된 입력 공간을 위한 LatentVariableLayer, 구조화된 데이터를 위한 ConvolutionalGP 레이어 등이 있습니다.
• TFP(DistributionLambda)를 사용해 GP 레이어의 분포 출력을 처리하고, 재생산 가능한 파라미터화를 통해 엔드 투 엔드 훈련을 가능하게 합니다.
• GPflux 레이어와 표준 Keras 레이어(예: Dense, Conv2D)를 조합한 하이브리드 모델을 지원하여, 탄력적이고 계층적인 모델 설계를 가능하게 합니다.
• 추론은 희소 유도 지점 기반의 변분 근사에 기반하며, ELBO 손실이 데이터 적합성 항과 KL 복잡성 항으로 분해되어 레이어에서 자동으로 처리됩니다.

실험 결과

연구 질문

• RQ1 현대 딥 러닝 생태계 내에서 딥 가우시안 프로세스를 모듈식, 확장 가능하고 프로덕션 준비된 방식으로 어떻게 구현할 수 있는가?
• RQ2 새로운 DGP 모델 및 추론 기법의 구현을 단순화하기 위해 필요한 아키텍처 추상화는 무엇인가?
• RQ3 기존 딥 러닝 도구를 사용해 GPs와 표준 신경망을 조합한 베이지안 딥 러닝 모델을 어떻게 효율적으로 훈련시킬 수 있는가?
• RQ4 Keras와 같은 기존 딥 러닝 프레임워크는 얼마나 깊이 베이지안 추론을 지원할 수 있도록 확장될 수 있는가?
• RQ5 다중 레이어, 다중 출력 GPs에서 발생하는 수학적 복잡성(예: 인덱스 추적, 무한 기저 함수 등)을 실용적인 사용을 위해 어떻게 추상화할 수 있는가?

주요 결과

• GPflux는 딥 가우시안 프로세스를 위한 완전한 오픈소스, 활발히 유지 관리되는 라이브러리로, 베이지안 딥 러닝 생태계의 핵심적 격차를 메우고 있습니다.
• 라이브러리는 97퍼센트 이상의 테스트 커버리지 확보를 달성했으며, Keras와 호환되어 텐서보드 모니터링, 모델 체크포인팅 등 기존 딥 러닝 워크플로우에 쉽게 통합될 수 있습니다.
• GPflux 레이어와 표준 Keras 레이어를 조합한 하이브리드 모델은 Sequential 또는 커스텀 모델을 사용해 구성할 수 있으며, 표준 최적화 알고리즘을 사용해 엔드 투 엔드 훈련이 가능합니다.
• 라이브러리는 다중 변수 가우시안 조건부 분포 및 재생산 가능한 파라미터화와 같은 복잡한 수학 연산을 성공적으로 추상화하여 개발 부담을 줄였습니다.
• 모듈식이고 조합 가능한 설계 덕분에 연구자들이 최소한의 부가 작업으로 새로운 DGP 모델 및 추론 기법을 구축하고 평가할 수 있습니다.
• 잠재 변수 레이어 및 컨볼루션 GPs와 같은 고급 DGP 구성 요소를 지원하여, 복잡한 비정규 분포를 가진 데이터의 모델링을 가능하게 합니다.