[論文レビュー] A Framework for Interdomain and Multioutput Gaussian Processes

Mark van der Wilk, Vincent Dutordoir+4 more|arXiv (Cornell University)|Mar 2, 2020

Gaussian Processes and Bayesian Inference参考文献 42被引用数 63

ひとこと要約

この論文は、モジュラーでスケーラブルな variational フレームワークを導入し、interdomain と multioutput Gaussian processes を統一し、柔軟で検証可能な GP 推論と深い GP アーキテクチャのための GPflow ベースの実装を提供する。

ABSTRACT

One obstacle to the use of Gaussian processes (GPs) in large-scale problems, and as a component in deep learning system, is the need for bespoke derivations and implementations for small variations in the model or inference. In order to improve the utility of GPs we need a modular system that allows rapid implementation and testing, as seen in the neural network community. We present a mathematical and software framework for scalable approximate inference in GPs, which combines interdomain approximations and multiple outputs. Our framework, implemented in GPflow, provides a unified interface for many existing multioutput models, as well as more recent convolutional structures. This simplifies the creation of deep models with GPs, and we hope that this work will encourage more interest in this approach.

研究の動機と目的

• 大規模問題とディープGP統合に適したモジュラーでスケーラブルな GP 推論の必要性を動機づける。
• インタードメインの近似とマルチアウトプット GP モデルを組み合わせた統一的な数理フレームワークを提示する。
• フレームワークが GP の効率的な変分推論とミニバッチ訓練をどのようにサポートするかを示す。
• インタードメインとマルチアウトプット構造の迅速な実験を可能にするGPflowのソフトウェア実装を提供する。

提案手法

• 単一およびマルチアウトプット設定におけるガウス過程の表記法と操作を記述する。
• インタードメインガウス過程の概念を、インタードメイン観測と誘導変数を含めて説明する。
• マルチアウトプットGPのための変分推論を開発し、対応する事後分布と周辺尤度の形を導出する。
• インタードメイン近似とマルチアウトプットモデルのインターフェースを備えたGPflowの統一ソフトウェアフレームワークを提示する。
• このフレームワーク内で Linear Model of Coregionalization および image convolutional GPs の手法をデモンストレーションする。

実験結果

リサーチクエスチョン

• RQ1 インタードメイン近似をスケーラブルな変分フレームワーク内でマルチアウトプットGaussian Processesと統合するにはどうすればよいか？
• RQ2 提案されたフレームワークは既存のマルチアウトプットGPモデルを統合・単純化し、畳み込み構造を備えたディープGPなどの新しいアーキテクチャを実現できるか？
• RQ3 MOGPsにおけるインタードメイン誘導変数が計算複雑性と推論効率に与える影響はどの程度か？
• RQ4 実際の設定でマルチアウトプットGPモデルの迅速な実験と展開をどのように促進できるか？

主な発見

• このフレームワークは大規模データセットに適した複雑度削減を伴うインタードメインおよびマルチアウトプットGPのスケーラブルな近似推論を実現する。
• GPflowは多くの既存のマルチアウトプットモデルを網羅し畳み込み構造をサポートする統一インターフェースを提供する。
• このアプローチは変分誘導変数とミニバッチ訓練をサポートし、学習コストを削減する。
• このフレームワークは Linear Model of Coregionalization および画像ベースのGP構築を含むいくつかのモデルを一般化する。
• 各バリエーションごとに特注の導出を排除することで、GPを組み込んだ深層モデルの開発を容易にすることを目指す。