[論文レビュー] Multivariate Generalized Gaussian Process Models

Antoni B. Chan|arXiv (Cornell University)|Nov 2, 2013

Gaussian Processes and Bayesian Inference参考文献 14被引用数 8

ひとこと要約

本稿では、多変量指数型分布族（EFD）を用いて尤度をモデル化することで、相関のある多変量出力を扱えるように拡張した多変量一般化ガウス過程モデル（M-GGPM）を提案する。また、角度回帰のためのボルン＝ミーゼスGPと、多項単体回帰のためのディリクレGPという2つの新しいモデルを導入し、推論を効率的に行うためにテイラー展開およびラプラス近似を用いる。この手法により、制約付き出力を持つ確率的回帰タスクで優れた性能を達成した。

ABSTRACT

We propose a family of multivariate Gaussian process models for correlated outputs, based on assuming that the likelihood function takes the generic form of the multivariate exponential family distribution (EFD). We denote this model as a multivariate generalized Gaussian process model, and derive Taylor and Laplace algorithms for approximate inference on the generic model. By instantiating the EFD with specific parameter functions, we obtain two novel GP models (and corresponding inference algorithms) for correlated outputs: 1) a Von-Mises GP for angle regression; and 2) a Dirichlet GP for regressing on the multinomial simplex.

研究の動機と目的

• 独立なGPモデルが多変量出力間の相関を捉えきれないという限界を解消すること。
• 単体や方向データなどの制約付き出力空間を扱える統一的な多変量GPモデルのフレームワークを構築すること。
• 確率的合計が1に等しい、円周上の角度など構造的制約を持つ出力における正確な確率的回帰を可能にすること。
• 一般M-GGPMフレームワークに適用可能な効率的な近似推論アルゴリズムを導出すること。
• 角度および多項単体回帰タスクのための新規モデルを用いて、フレームワークの有効性を実証すること。

提案手法

• 尤度を多変量指数型分布族（EFD）により定式化し、十分統計量、対数生成関数、分散パラメータを用いる多変量GPモデルを構築する。
• M-GGPMを、EFDの十分統計量の平均に写像するリンク関数を介して変換した潜在GP事前分布として定式化する。
• 2つの近似推論アルゴリズムを導出する：観測値の周囲での1次近似（テイラー近似）と、事後分布モードの周囲での2次近似（ラプラス近似）。
• 一般フレームワークを2つのEFDの具体例に適用する：多項単体出力のためのディリクレ分布と、角度出力のためのボルン＝ミーゼス分布。
• ディリクレの場合にはロジスティックリンク関数を用いて正の制約を満たし、ボルン＝ミーゼスの場合には対数線形リンク関数を用いる。
• ヘッセ行列に基づく近似と、勾配およびヘッセ行列の項の効率的計算を実施し、特にディリクレの場合にはポリガンマ関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 指数型分布族を用いて構造的制約を持つ相関のある多変量出力をモデル化できる統一的な多変量GPフレームワークを開発できるか？
• RQ2 非ガウス分布であり出力が制約付きの多変量GPモデルにおいて、効率的な近似推論をどのように実現できるか？
• RQ3 提案されたM-GGPMフレームワークは、確率的ベクトルの回復や角度データの予測といった確率的回帰タスクで性能を向上させられるか？
• RQ4 M-GGPMにおいて、テイラー近似とラプラス近似は、精度および計算効率の観点でどのように比較できるか？
• RQ5 制約付き出力空間を含むタスクにおいて、M-GGPMは標準的なGPモデル（例：独立GP、二値GPC）をどの程度上回るか？

主な発見

• ディリクレ-GGPMは、量子化されノイズのかかった確率ベクトルから元の確率分布を回復する際、平均絶対誤差（MAE）が0.072を達成し、CGP（MAE 0.16）および二値GPC（MAE 0.17）を上回った。
• 画像アノテーションタスクにおいて、ディリクレ-GGPMは10回のランダムな訓練・テスト分割において、上位k個のアノテーションの平均単語Fスコアが、ベースラインモデルを顕著に上回った。
• ディリクレ-GGPMは単体制約（非負の要素の和が1）を正確に満たし、他のモデルが要請する打ち切りや正規化処理に起因するアーチファクトを回避した。
• ボルン＝ミーゼスGPモデルは、多変量EFDフレームワークを用いて、方向的出力の確率的モデリングが可能な新たな角度回帰モデルとして導出された。
• 実験では、ラプラス近似がテイラー近似よりもより正確な事後分布推定を達成しており、とくに尤度関数の曲率が大きい領域で顕著であった。
• EFDに異なるパラメータ関数をインスタンス化することで、フレームワークは新たなGPモデルの作成を可能にし、提示された2つの事例を超えた拡張性を示した。