[論文レビュー] GaussianProcesses.jl: A Nonparametric Bayes package for the Julia Language

Jamie Fairbrother, Christopher Nemeth+3 more|arXiv (Cornell University)|Dec 21, 2018

Gaussian Processes and Bayesian Inference被引用数 12

ひとこと要約

GaussianProcesses.jl は、Julia プログラミング言語向けの高速でスケーラブルな、使いやすいガウス過程パッケージであり、ジャストインタイムコンパイルと多重ディパッチを活用して、高速でスケーラブルな推論を実現する。正確な推論とスパース近似をサポートし、最適化や可視化のための Julia エコシステムとシームレスに統合されており、GPML や GPy といった既存のツールと同等の実行時パフォーマンスを達成している。

ABSTRACT

Gaussian processes are a class of flexible nonparametric Bayesian tools that are widely used across the sciences, and in industry, to model complex data sources. Key to applying Gaussian process models is the availability of well-developed open source software, which is available in many programming languages. In this paper, we present a tutorial of the GaussianProcesses.jl package that has been developed for the Julia programming language. GaussianProcesses.jl utilises the inherent computational benefits of the Julia language, including multiple dispatch and just-in-time compilation, to produce a fast, flexible and user-friendly Gaussian processes package. The package provides many mean and kernel functions with supporting inference tools to fit exact Gaussian process models, as well as a range of alternative likelihood functions to handle non-Gaussian data (e.g. binary classification models) and sparse approximations for scalable Gaussian processes. The package makes efficient use of existing Julia packages to provide users with a range of optimization and plotting tools.

研究の動機と目的

• Julia プログラミング言語向けに最適化された、高速で使いやすいガウス過程パッケージを開発すること。
• 特にジャストインタイムコンパイルと多重ディパッチを活用した Julia の計算的利点を活かし、非パrametric ベイジアンモデルにおける効率的な推論を実現すること。
• 正確な推論、スパース近似、非ガウス分布のデータに適した多様な尤度関数をサポートする柔軟なフレームワークを提供すること。
• 最適化、確率的モデリング、可視化のための既存の Julia パッケージとの相互運用性を保証すること。
• 他の言語で開発された主要なガウス過程ライブラリと同等の実行時パフォーマンスを達成すること。

提案手法

• 実行時に関数をマシンコードにコンパイルする Julia のジャストインタイム（JIT）コンパイルを活用し、解釈型言語よりも著しく高速な実行速度を実現する。
• カーネル、平均関数、尤度関数などの多様なガウス過程コンponentsに対して、タイプに特化した関数実装を効率的に可能にする多重ディパッチを採用する。
• 算術演算（例：和および積）を用いた平均関数およびカーネル関数の合成をサポートし、柔軟なモデル構築を可能にする。
• 既存の Julia パッケージと統合：ハイパーパramータ最適化には Optim.jl、事前分布の指定には Distributions.jl を使用。
• コレスキー分解を用いた正確な推論と、インダクティングポイントを用いたスパース近似を実装し、スケーラビリティを確保する。
• 他の Julia パッケージ（例：BayesianOptimization.jl）とシームレスに統合可能なモジュラーユーザーインターフェースを提供する。

実験結果

リサーチクエスチョン

• RQ1 現代のシステムプログラミング言語の特徴を活用することで、ガウス過程推論のパフォーマンスをどのように向上させられるか？
• RQ2 Julia の JIT コンパイルと多重ディパッチは、非パラメトリック ベイジアン モデルの効率的で高レベルの実装をどの程度可能にするか？
• RQ3 完全に Julia で実装されたガウス過程パッケージは、GPML や GPy のような成熟した C アクcelerated システムと同等の実行時パフォーマンスを達成できるか？
• RQ4 多様な尤度関数とスパース近似を用いた非ガウス分布データの柔軟なモデリングは、どの程度効果的にサポートされているか？
• RQ5 既存の Julia 科学計算パッケージとのモジュラー統合は、使いやすさと拡張性にどのような影響を与えるか？

主な発見

• GaussianProcesses.jl は GPML や GPy と同等の実行時パフォーマンスを達成しており、純粋に Julia で実装されたシステムが、C/マトリクス言語や Python/C++ で構築されたハイブリッドシステムと同等、あるいはそれを上回る速度を実現できることを示している。
• Julia の JIT コンパイルと多重ディパッチの活用により、計算効率を損なわず、高レベルで読みやすいコードを記述可能であり、『二言語問題』を効果的に解決している。
• 平均関数およびカーネル関数の幅広い選択肢をサポートしており、合成演算を介した柔軟なモデル設計が可能で、多様な回帰および分類タスクに適応できる。
• インダクティングポイントを用いたスパース近似がネイティブにサポートされており、大規模データセット上でのスケーラブルな推論を、精度を保持したまま実現できる。
• Optim.jl および Distributions.jl との統合により、ハイパーパramータ最適化と事前分布の指定が堅牢に実装され、モデルの強靭性とベイジアン推論の能力が向上する。
• このパッケージは、BayesianOptimization.jl など他の Julia パッケージの依存関係としても採用されており、Julia 科学計算エコシステムにおける基盤的ツールとしての役割を果たしていることが確認されている。