[論文レビュー] GPflux: A Library for Deep Gaussian Processes

Vincent Dutordoir, Hugh Salimbeni+8 more|arXiv (Cornell University)|Apr 12, 2021

Gaussian Processes and Bayesian Inference参考文献 16被引用数 7

ひとこと要約

GPflux は、GPflow と Keras を統合することで、深層ガウス過程（DGP）を用いたベイジアンディープラーニングを可能にする Python ライブラリであり、最新の DGP モデルおよび推論手法のモジュラーで拡張可能で効率的な実装を提供する。Keras と完全に互換性があり、生産用途に適した統合フレームワーク内でベイジアンおよび標準のニューラルネットワーク層を組み合わせたハイブリッドアーキテクチャをサポートする。

ABSTRACT

We introduce GPflux, a Python library for Bayesian deep learning with a strong emphasis on deep Gaussian processes (DGPs). Implementing DGPs is a challenging endeavour due to the various mathematical subtleties that arise when dealing with multivariate Gaussian distributions and the complex bookkeeping of indices. To date, there are no actively maintained, open-sourced and extendable libraries available that support research activities in this area. GPflux aims to fill this gap by providing a library with state-of-the-art DGP algorithms, as well as building blocks for implementing novel Bayesian and GP-based hierarchical models and inference schemes. GPflux is compatible with and built on top of the Keras deep learning eco-system. This enables practitioners to leverage tools from the deep learning community for building and training customised Bayesian models, and create hierarchical models that consist of Bayesian and standard neural network layers in a single coherent framework. GPflux relies on GPflow for most of its GP objects and operations, which makes it an efficient, modular and extensible library, while having a lean codebase.

研究の動機と目的

• ベイジアンディープラーニングにおける深層ガウス過程（DGP）のための、活発にメンテナンスされ、拡張可能でオープンソースのライブラリが不足しているという問題に対処すること。
• 研究者が新しい DGP モデルや推論手法を効率的に実装できるように、再利用可能でモジュラーなコンponents を提供すること。
• 実務家が標準的なディープラーニングツールを用いて、ハイブリッドなベイジアンおよびディープニューラルネットワークモデルを構築・学習・デプロイできるようにすること。
• 多次元ガウス分布の条件付き分布やインデックスの管理といった数学的側面の複雑さを抽象化することで、DGP の実装の複雑さを軽減すること。
• 継続的インテグレーション、97%を超えるテストカバレッジ、および包括的なドキュメンテーションを通じて、高いコード品質と使いやすさを確保すること。

提案手法

• GPflux は TensorFlow を基盤とし、Keras と統合することで、モデルコンパイル、コールバック、モデル保存などのディープラーニングエコシステムツールのシームレスな利用を可能にする。
• コアのガウス過程演算には GPflow を活用し、効率性とモularity を確保しながらも、軽量なコードベースを維持する。
• DGP のコンponents を処理する専用レイヤー（例：GPLayer）、入力空間を拡張するための LatentVariableLayer、構造化されたデータ向けの ConvolutionalGP レイヤーを提供する。
• TensorFlow Probability の DistributionLambda を使用して、GP レイヤーからの分布出力を扱い、再パrameterization を可能にすることでエンドツーエンドの学習を実現する。
• GPflux レイヤーと標準の Keras レイヤー（例：Dense、Conv2D）を組み合わせたハイブリッドモデルをサポートし、柔軟で階層的なモデル設計を可能にする。
• 推論はスパースな誘導点を用いた変分近似に基づき、ELBO 損失がデータ適合項と KL 複雑度項に分解され、レイヤーが自動的に処理する。

実験結果

リサーチクエスチョン

• RQ1 現代のディープラーニングエコシステム内において、深層ガウス過程をモジュラーで拡張可能かつ生産用途に適した形で実装するにはどうすればよいか？
• RQ2 新しい DGP モデルや推論手法の実装を簡素化するために必要なアーキテクチャ抽象化とは何か？
• RQ3 GP と標準のニューラルネットワークを組み合わせたベイジアンディープラーニングモデルを、既存のディープラーニングツールを用いて効率的に学習するにはどうすればよいか？
• RQ4 Keras のような既存のディープラーニングフレームワークを、ガウス過程を用いた完全なベイジアン推論をサポートするように拡張できる範囲はどの程度か？
• RQ5 多次元・多出力のガウス過程における、インデックスの追跡や無限大の基底関数といった数学的複雑さを、実用的な利用を想定してどのように抽象化できるか？

主な発見

• GPflux は、ベイジアンディープラーニングエコシステムにおいて、完全にオープンソースで活発にメンテナンスされている深層ガウス過程のためのライブラリを提供し、重要な空白を埋めている。
• ライブラリは 97% を超えるテストカバレッジを達成しており、Keras と完全に互換性があるため、TensorBoard 監視やモデルチェックポイント保存などの確立されたディープラーニングワークフローへの統合が可能である。
• GPflux レイヤーと標準の Keras レイヤーを組み合わせたハイブリッドモデルは、Sequential モデルまたはカスタムモデルを用いて構築でき、標準の最適化アルゴリズムを用いたエンドツーエンドの学習が可能である。
• フレームワークは、多次元ガウス分布の条件付き分布や再パラメータライゼーションといった複雑な数学的演算を効果的に抽象化しており、実装の負担を軽減している。
• モジュラーで合成可能な設計のおかげで、研究者は最小限のボイラープレートで新しい DGP モデルや推論手法を構築・評価できる。
• 潜在変数レイヤーや畳み込みガウス過程といった高度な DGP コンponents をサポートしており、複雑で非ガウス的なデータ分布のモデリングを可能にしている。