[논문 리뷰] GPflow: A Gaussian process library using TensorFlow

Alexander Matthews, Mark van der Wilk외 6명|arXiv (Cornell University)|2016. 10. 27.

Gaussian Processes and Bayesian Inference인용 수 305

한 줄 요약

GPflow는 변분 추론을 주요 근사 방법으로 사용하는 TensorFlow 기반의 Gaussian 프로세스 라이브러리이며, GPU 가속을 지원하고 테스트 및 오픈 소스 개발에 중점을 두고 GPy와 유사한 Python 프런트 엔드를 제공합니다.

ABSTRACT

GPflow is a Gaussian process library that uses TensorFlow for its core computations and Python for its front end. The distinguishing features of GPflow are that it uses variational inference as the primary approximation method, provides concise code through the use of automatic differentiation, has been engineered with a particular emphasis on software testing and is able to exploit GPU hardware.

연구 동기 및 목표

• 빠르고 확장 가능하며 검증 가능한 정확성을 갖춘 Gaussian 프로세스 라이브러리를 목표로 한다.
• GPy에서 영감을 받은 간결하고 확장 가능한 Python 인터페이스를 제공한다.
• 자동 미분 및 GPU 하드웨어를 활용해 구현을 용이하게 하고 계산 속도를 높인다.
• 필요한 GP 기능(예: Cholesky 미분)과 GPU 솔루션을 추가하여 TensorFlow에 기여한다.
• 강력한 테스트와 문서화를 포함한 오픈 소스 제공을 보장한다.

제안 방법

• 핵심 GP 계산과 그래디언트를 위한 자동 미분을 구현하기 위해 TensorFlow를 사용한다.
• 비공합성(non-conjugacy)을 다루기 위해 변분 추론을 주요 근사로 채택한다.
• 추론 방법을 위한 공유 기본 클래스를 가진 깔끔한 객체 지향 Python 프런트 엔드를 제공한다.
• 확장 가능한 GP 추론을 가능하게 하기 위해 새로운 TensorFlow 연산(예: Cholesky 미분)과 GPU 가속 선형 대수를 기여한다.
• 가능한 경우의 정확한 추론을 포함하고 비가우시안 우도에 대해 다양한 변분/ MCMC 방법(HMC 포함)을 제공하는 추론 옵션 모음을 제공한다.
• 약 99%에 이르는 높은 코드 커버리지와 품질 보증을 위한 지속적 통합을 유지한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 추론을 변분 희소화를 사용해 대규모 데이터에 어떻게 확장 가능하게 만들 수 있을까?
• RQ2 TensorFlow 기반의 GPflow가 단일 프레임워크 내에서 효율적이고 정확한 변분, MCMC 및 정확한 추론을 제공할 수 있을까?
• RQ3 소프트웨어 엔지니어링 관행(테스트, 오픈 소스, GPU 지원)이 GP 라이브러리의 사용성 및 확장성에 어떤 개선을 가져올까?
• RQ4 CPU 대 GPU 배포 시 성능 및 사용성 면에서 GPflow가 기존 라이브러리(예: GPy)와 어떻게 비교될까?

주요 결과

• GPflow는 가능한 경우 정확한 추론과 다양한 확장 가능한 변분 방법(변분 희소화)을 지원한다.
• 그래디언트 코딩을 최소화하기 위해 자동 미분에 의존하고, 속도를 높이기 위해 GPU에서 실행된다.
• GPflow의 Python 프런트 엔드는 객체 지향적이며 GPy와 설계 계보를 공유하지만 핵심 계산은 TensorFlow에서 수행된다.
• 라이브러리는 높은 테스트 커버리지를 보여주며 보고서에서 약 99%에 달한다.
• 시간 기반 실험에서 MNIST 기반 변분 GP 분류기에 대해 GPU 가속이 CPU 전용 실행에 비해 상당한 속도 향상을 보인다.
• GPflow 코드와 프런트 엔드는 Apache 2.0 라이선스 하에 오픈 소스로 공개된다.