[論文レビュー] Variational zero-inflated Gaussian processes with sparse kernels

Pashupati Hegde, Markus Heinonen+1 more|arXiv (Cornell University)|Mar 13, 2018

Gaussian Processes and Bayesian Inference参考文献 21被引用数 3

ひとこと要約

本稿では、過剰なゼロ値を示すデータセットをモデル化するため、スパースなカーネルを用いた変分ゼロインフレートド・ガウス過程（ZiGP）を提案する。この手法は、潜在的なプロビット・ガウス過程を学習することで、カーネルの行と列をスパースにゼロ化し、正確なゼロ予測を可能にする。スケーラブルな学習のため、確率的変分推論を用いる。また、変数順序の混合を用いたスパース・ガウス過程ネットワーク（sGPRN）を導入し、ゼロインフレートド・データにおける予測精度の向上と、潜在構造の解釈可能性の向上を実現する。

ABSTRACT

Zero-inflated datasets, which have an excess of zero outputs, are commonly encountered in problems such as climate or rare event modelling. Conventional machine learning approaches tend to overestimate the non-zeros leading to poor performance. We propose a novel model family of zero-inflated Gaussian processes (ZiGP) for such zero-inflated datasets, produced by sparse kernels through learning a latent probit Gaussian process that can zero out kernel rows and columns whenever the signal is absent. The ZiGPs are particularly useful for making the powerful Gaussian process networks more interpretable. We introduce sparse GP networks where variable-order latent modelling is achieved through sparse mixing signals. We derive the non-trivial stochastic variational inference tractably for scalable learning of the sparse kernels in both models. The novel output-sparse approach improves both prediction of zero-inflated data and interpretability of latent mixing models.

研究の動機と目的

• 気象、生態学、社会科学などに見られる、ゼロ値の観測が過剰に多いデータセットをモデル化する課題に対処すること。
• 標準的なガウス過程が、このようなデータにおいてゼロを低く見積もって非ゼロ値を過大評価するという限界を克服すること。
• 正確なゼロ予測を可能にするために、潜在的なGPとプロビットリンク付きスイッチング過程を組み合わせた、新たなベイジアンフレームワークを構築すること。
• 混合重みにオンオフ過程を導入することで、潜在信号のスパースかつ変数順序の混合を実現し、ガウス過程ネットワークの解釈可能性を向上させること。
• ZiGPおよびsGPRNモデルにおける複雑で高次元のスパースな共分散構造に対して、扱いやすい確率的変分推論を用いてスケーラブルな学習を可能にすること。

提案手法

• 潜在的なプロビット・ガウス過程が、カovariance行列の行と列をゼロ化する割合を決定することで、カーネル行列をスパース化するゼロインフレートド・GPモデルを提案する。
• 潜在入力上での滑らかで非パrametricなプロビットリンク関数を用いて、カーネルのスパーシティをモデル化し、'オン'と'オフ'の状態の間を連続的に切り替えることを可能にする。
• プロビットリンク付きスパーシティ下でのGP共分散の不確実な期待値を扱う、新たな確率的変分推論（SVI）フレームワークを導出することで、スケーラブルな学習を実現する。
• SVIフレームワークを、対角化された平均場近似にとどまらない、完全な共分散を考慮する従来のガウス過程ネットワーク（GPRN）へと拡張する。
• 混合重みが別個のオンオフ過程によって制御されるスパースGPRNを導入し、入力位置ごとに関連する潜在関数のみをアクティブ化する変数順序の混合を実現する。
• 空間的および時間的グリッド上にインダクションポイントを配置し、サポート関数と重み関数の両方に共通の位置を使用する。また、長さスケールにガンマ事前分布を適用することで滑らかさを促進する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程は、非ゼロ値を過大評価する傾向があるため、過剰なゼロ値を示すデータセットをモデル化する際、どのようにしてゼロ値の過剰な観測を正確に扱えるようにすることができるか？
• RQ2 潜在的なプロビット過程を用いて、スパースなカーネル共分散行列を確率的にスパース化し、GPモデルで正確なゼロ予測を可能にする手法は有効か？
• RQ3 非線形的かつ非ガウス的なカーネルスパーシティを持つゼロインフレートド・GPのパラメータを学習するための、取り扱いやすい推論手法は何か？
• RQ4 ガウス過程ネットワークにおけるスパースな混合は、関連する潜在関数の変数順序の混合を可能にすることで、モデルの解釈可能性を向上させるとともに、複雑さを低減できるか？
• RQ5 確率的変分推論は、プロビットリンク付きスパーシティを持つスパースGPRNの、非対角の共分散構造を扱うように拡張可能か？

主な発見

• 降水量データセットにおいて、ZiGPモデルは標準的なGP回帰と比較して、はるかに高い数の完全なゼロ予測を達成し、顕著な性能向上を示した。
• 雨量データセットでは、ZiGPが最小の平均二乗誤差（MSE）と最大のF1スコアを達成し、回帰精度とクラス不均衡の処理の両面で、標準的なGPモデルを上回った。
• 5個のインダクションポイントを用いたsGPRNモデルは、ベースラインのGPRN（RMSE: 0.732, MAE: 0.572）と比較して、より低いRMSE（0.728）とMAE（0.567）を達成し、回帰性能の向上を示した。
• sGPRNモデルは解釈可能なスパーシティパターンを学習している：混合重みにおける滑らかな'オフ'領域は、特定の空間領域で2つの潜在関数のうち1つしか使用されていないことを示しており、モデルの複雑さが低減されている。
• 10個のインダクションポイントを用いたモデルでも一貫した改善が確認され、sGPRNはGPRN（RMSE: 0.774, MAE: 0.586）と比較して、より低いRMSE（0.749）とMAE（0.573）を達成した。これにより、スケーラビリティとロバストネスが裏付けられた。
• 最適化されたsGPRNモデルの可視化から、サポート関数（オンオフ過程）と重み関数が空間的に滑らかであり、明確に区別された黒（オン）と白（オフ）の領域を示しており、潜在関数の適応的かつ位置に特化した活性化が確認された。