[논문 리뷰] GaussianProcesses.jl: A Nonparametric Bayes package for the Julia Language

Jamie Fairbrother, Christopher Nemeth외 3명|arXiv (Cornell University)|2018. 12. 21.

Gaussian Processes and Bayesian Inference인용 수 12

한 줄 요약

GaussianProcesses.jl은 Julia 프로그래밍 언어를 위한 고성능이고 사용자 친화적인 가우시안 프로세스 패키지로, Julia의 Just-In-Time 컴파일과 다형성 다형성 기능을 활용하여 빠르고 확장 가능한 추론을 제공한다. 정확한 추론과 희소 근사, 다양한 우도 함수를 지원하며, 최적화 및 시각화를 위한 Julia 생태계와 원활하게 통합되어 GPML 및 GPy와 경쟁 가능한 런타임 성능을 달성한다.

ABSTRACT

Gaussian processes are a class of flexible nonparametric Bayesian tools that are widely used across the sciences, and in industry, to model complex data sources. Key to applying Gaussian process models is the availability of well-developed open source software, which is available in many programming languages. In this paper, we present a tutorial of the GaussianProcesses.jl package that has been developed for the Julia programming language. GaussianProcesses.jl utilises the inherent computational benefits of the Julia language, including multiple dispatch and just-in-time compilation, to produce a fast, flexible and user-friendly Gaussian processes package. The package provides many mean and kernel functions with supporting inference tools to fit exact Gaussian process models, as well as a range of alternative likelihood functions to handle non-Gaussian data (e.g. binary classification models) and sparse approximations for scalable Gaussian processes. The package makes efficient use of existing Julia packages to provide users with a range of optimization and plotting tools.

연구 동기 및 목표

• Julia 프로그래밍 언어를 위한 고성능이고 사용자 친화적인 가우시안 프로세스 패키지를 개발하는 것.
• 특히 Just-In-Time 컴파일과 다형성 다형성 기능을 포함한 Julia의 계산적 이점을 활용하여 비모수 베이지안 모델의 효율적 추론을 구현하는 것.
• 정확한 추론, 희소 근사, 비정규 분포 데이터를 위한 다양한 우도 함수를 지원하는 유연한 프레임워크를 제공하는 것.
• 최적화, 확률 모델링, 시각화를 위한 기존 Julia 패키지와의 상호운용성을 보장하는 것.
• 다른 언어로 작성된 주요 가우시안 프로세스 라이브러리와 경쟁 가능한 런타임 성능를 달성하는 것.

제안 방법

• 런타임에 함수를 기계어로 컴파일하는 Julia의 Just-In-Time(JIT) 컴파일 기능을 활용하여 해석형 언어보다 뛰어난 실행 속도를 확보한다.
• 핵심 가우시안 프로세스 구성 요소인 커널, 평균 함수, 우도 함수 등 다양한 요소에 대해 유형에 맞는 함수를 효율적으로 실행하기 위해 다형성 다형성 기능을 활용한다.
• 산술 연산(예: 덧셈과 곱셈)을 통해 평균 함수와 커널 함수를 조합하여 모델 구성의灵活性를 높인다.
• 기존의 Julia 패키지와 통합: 하이퍼파ram터 최적화를 위한 Optim.jl, 사전 분포 설정을 위한 Distributions.jl.
• Cholesky 분해를 사용한 정확한 추론과, 확장성을 높이기 위해 유도점(Inducing Points)을 활용한 희소 근사를 지원한다.
• 다른 Julia 패키지와의 원활한 사용을 가능하게 하는 모듈러한 인터페이스를 제공하며, BayesianOptimization.jl 등의 확장 기능을 위한 통합도 가능하다.

실험 결과

연구 질문

• RQ1 현대 시스템 프로그래밍 언어 기능을 활용하여 가우시안 프로세스 추론의 성능을 어떻게 향상시킬 수 있는가?
• RQ2 Julia의 JIT 컴파일과 다형성 다형성 기능은 비모수 베이지안 모델의 효율적이고 고수준의 구현을 얼마나 잘 지원할 수 있는가?
• RQ3 완전히 Julia로 작성된 가우시안 프로세스 패키지가 GPML 및 GPy와 같은 성숙한 C 가속 라이브러리와 경쟁 가능한 런타임 성능를 달성할 수 있는가?
• RQ4 다양한 우도 함수와 희소 근사를 통해 비정규 분포 데이터의 모델링에 얼마나 잘 대응할 수 있는가?
• RQ5 기존 Julia 과학 계산 패키지와의 모듈러한 통합이 사용성과 확장성에 미치는 영향은 어떠한가?

주요 결과

• GaussianProcesses.jl는 GPML 및 GPy와 경쟁 가능한 런타임 성능를 달성하여 순수 Julia로 작성된 구현이 C/마트랩 또는 파이썬/C++ 기반 하이브리드 시스템과도 맞먹거나 이를 초월할 수 있음을 입증한다.
• Julia의 JIT 컴파일과 다형성 다형성 기능을 활용함으로써 고수준의 가독성 있는 코드를 유지하면서도 계산 효율성을 손상시키지 않아, '두 번째 언어 문제'를 효과적으로 해결한다.
• 다양한 평균 함수와 커널 함수를 지원하며, 복합 연산을 통해 다양한 회귀 및 분류 작업에 적합한 모델 설계의灵活性를 제공한다.
• 유도점을 활용한 희소 근사는 내장된 방식으로 지원되어 대규모 데이터 세트에서도 정확도를 유지하면서도 확장 가능한 추론을 가능하게 한다.
• Optim.jl 및 Distributions.jl와의 통합을 통해 강력한 하이퍼파ram터 최적화와 사전 분포 설정이 가능해져 모델의 강건성과 베이지안 추론 능력이 향상된다.
• 이 패키지는 BayesianOptimization.jl와 같은 다른 Julia 패키지의 종속성으로도 활용되며, Julia 과학 계산 생태계에서 기초적인 도구로서의 역할을 확인한다.