[論文レビュー] On Approximate Inference for Generalized Gaussian Process Models

Lifeng Shang, Antoni B. Chan|arXiv (Cornell University)|Nov 25, 2013

Gaussian Processes and Bayesian Inference参考文献 64被引用数 10

ひとこと要約

本稿では、観測尤度を指数型分布族（EFD）でパラメータ化することで、非負実数、有界区間、離散度数など多様な出力ドメインにわたる効率的な近似推論を可能にする、一般化ガウス過程モデル（GGPM）の統一枠組みを提案する。2次テイラー展開に基づく一般化推論アルゴリズムとEFDのパラメータ関数を用いることで、モデル作成を簡素化し、非標準の出力分布を伴う回帰タスクにおいて最先端の性能を達成する。

ABSTRACT

A generalized Gaussian process model (GGPM) is a unifying framework that encompasses many existing Gaussian process (GP) models, such as GP regression, classification, and counting. In the GGPM framework, the observation likelihood of the GP model is itself parameterized using the exponential family distribution (EFD). In this paper, we consider efficient algorithms for approximate inference on GGPMs using the general form of the EFD. A particular GP model and its associated inference algorithms can then be formed by changing the parameters of the EFD, thus greatly simplifying its creation for task-specific output domains. We demonstrate the efficacy of this framework by creating several new GP models for regressing to non-negative reals and to real intervals. We also consider a closed-form Taylor approximation for efficient inference on GGPMs, and elaborate on its connections with other model-specific heuristic closed-form approximations. Finally, we present a comprehensive set of experiments to compare approximate inference algorithms on a wide variety of GGPMs.

研究の動機と目的

• 回帰、分類、カウントなど多様なガウス過程モデルを、指数型分布族分布を用いて統一的な枠組みに統合すること。
• 特定のタスク用出力ドメインに特化した新しいGPモデルの開発を簡素化するために、一般形での尤度パラメータ化を実現すること。
• EFDパラメータ関数にのみ依存する効率的な近似推論アルゴリズムを導出することで、モデル固有の導出作業を減らすこと。
• 非負実数および実数区間用の新しいGPモデルを通じて、フレームワークの有効性を実証すること。
• 既存のヒューリスティック近似を一般化する、閉形式のテイラー近似法を確立すること。

提案手法

• 観測尤度を指数型分布族（EFD）でパラメータ化することで、多様なGPモデルを統一的に扱える一般化ガウス過程モデル（GGPM）を形式化する。
• 潜在関数の平均の周りでの対数尤度の2次テイラー展開に基づく一般化近似推論アルゴリズムを導出する。これにより、有効ノイズ項とターゲット項が得られる。
• 有効ノイズやターゲットといった推論の主要な構成要素を、EFDの累積量関数および標準パラメータの導関数を用いて表現する。
• ベルヌーイ、ポアソン、ガンマ、逆ガウス、ベータなどの特定分布に、一般化推論フレームワークを適用し、適切な展開点における展開を通じて閉形式の表現を導出する。
• ラプラス近似と期待値伝搬の原則を用いて一般化推論式を導出し、解析的表現による導出の妥当性を検証する。
• ハイパーパrameter学習に周辺尤度を用い、モデルパラメータに関する対数尤度の勾配を統一的に導出する。

実験結果

リサーチクエスチョン

• RQ1 標準回帰や分類を超えた多様な出力ドメイン向けに、GPモデルの作成を簡素化する統一フレームワークを開発できるか？
• RQ2 指数型分布族の一般形を用いて、GGPMのための効率的近似推論をどのように導出できるか？
• RQ3 提案されたテイラー近似と、モデル固有のGP推論で用いられる既存のヒューリスティック近似との関係は何か？
• RQ4 一般化推論アルゴリズムは、非ガウス分布および有界出力分布を伴うさまざまなGGPMにおいて、どのように性能を発揮するか？
• RQ5 各尤度タイプに対して特段の導出作業を要せず、自動的なモデル生成とハイパーパrameter学習をフレームワークが可能にするか？

主な発見

• 提案されたGGPMフレームワークにより、非負実数や実数区間用の新しいGPモデルを、指数型分布族内での尤度指定のみで構築可能であり、新たな推論アルゴリズムを再導出する必要がない。
• GGPM用に導出された閉形式テイラー近似は、ポアソンやベルヌーイGPモデルで用いられる既存のヒューリスティック近似を一般化・統合する。
• ベータ尤度に対しては、ディガンマ関数およびトライガンマ関数を用いた新しい閉形式近似を導出し、有効ノイズが形状パラメータφと展開点に依存することを明らかにした。
• ベンチマークデータセットにおいても競争力ある性能を示し、実験により一般化推論アルゴリズムが予測精度および不確実性のキャリブレーションの観点で、モデル固有のベースラインと同等またはそれを上回ることを確認した。
• ハイパーパrameterに関する周辺尤度の勾配が閉形式で導出可能であり、尤度最大化による効率的最適化が可能である。
• 重尾分布や有界出力を持つGGPMを含め、広範なGGPMにわたり、本手法は強固で効率的であることが実証され、その一般性と実用的価値が裏付けられた。