[論文レビュー] Varying-coefficient models with isotropic Gaussian process priors

Matthias Bussas, Christoph Sawade+2 more|arXiv (Cornell University)|Aug 28, 2015

Gaussian Processes and Bayesian Inference参考文献 12被引用数 4

ひとこと要約

本稿では、等方性ガウス過程事前分布を用いた、変化係数モデルのスケーラブルなベイズ枠組みを提案する。推論が積核を用いた標準的なガウス過程推論に還元されることを示しており、主な貢献は、マルチタスク学習におけるタスクおよびインスタンスのカーネルを用いた効率的なMAP推論、およびグラフラプラシアンカーネルを用いた階層ベイズモデルの実現が可能になることである。実地の地理空間予測タスクにおいて検証された。

ABSTRACT

We study learning problems in which the conditional distribution of the output given the input varies as a function of additional task variables. In varying-coefficient models with Gaussian process priors, a Gaussian process generates the functional relationship between the task variables and the parameters of this conditional. Varying-coefficient models subsume hierarchical Bayesian multitask models, but also generalizations in which the conditional varies continuously, for instance, in time or space. However, Bayesian inference in varying-coefficient models is generally intractable. We show that inference for varying-coefficient models with isotropic Gaussian process priors resolves to standard inference for a Gaussian process that can be solved efficiently. MAP inference in this model resolves to multitask learning using task and instance kernels, and inference for hierarchical Bayesian multitask models can be carried out efficiently using graph-Laplacian kernels. We report on experiments for geospatial prediction.

研究の動機と目的

• 高次元パrameter空間を有する変化係数モデルにおけるベイズ推論の計算非可能性を解消すること。
• 時間や場所などのタスク変数に応じてモデルパラメータが変化するような転移学習設定において、効率的な推論を可能にすること。
• 既存のマルチタスク学習および階層ベイズモデルを、理論的保証を伴う共通のGPベースの枠組みで統一すること。
• 実地の不動産価格および家賃の地理空間予測を通じて、実用的適用性を示すこと。

提案手法

• タスク変数上の変化係数を、独立なパrameter成分を仮定する等方性を有するガウス過程事前分布としてモデル化する。
• 変化係数モデルにおける事後分布推論が、入力変数およびタスク変数の積核を用いた標準的なGP推論に等価であることを示す。
• MAP推定がタスクカーネルとインスタンスカーネルの組み合わせを用いたマルチタスク学習に還元されることを導出する。
• 階層ベイズモデルが、グラフラプラシアンマルチタスクカーネルを用いたGP事前分布として対応することを明らかにし、標準的なGPツールによる効率的推論を可能にする。
• クリロネル積構造と行列分解を用いて、複雑な変化係数モデルと標準的なGP推論との間の同等性を確立する。
• 帰納法を用いて、木構造のタスクグラフにおける共分散行列の逆行列がグラフラプラシアンに一致することを証明し、カーネル構造の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 等方性GP事前分布を用いた変化係数モデルにおけるベイズ推論を、計算的に実行可能にすることができるか？
• RQ2 等方性GP事前分布を用いた変化係数モデルと標準的なガウス過程モデルとの間の理論的同等性は何か？
• RQ3 特定のカーネル選択のもとで、既存のマルチタスク学習手法はこの枠組みとどのように関係しているか？
• RQ4 この枠組みは、時間や空間のような連続的タスク変数におけるパラメータの連続的変化を効率的にモデル化できるか？
• RQ5 本手法は、条件付き分布が変化するような実世界の予測タスクにおいて、標準的なベースラインを上回る性能を示すか？

主な発見

• 等方性GP事前分布を用いた変化係数モデルにおけるベイズ推論は、正確に積核を用いた標準的なGP推論に還元され、計算が効率的に行える。
• このモデルにおけるMAP推定は、タスクカーネルとインスタンスカーネルの組み合わせを用いたマルチタスク学習に等価であり、実用的な最適化経路を提供する。
• 階層ベイズマルチタスクモデルは、グラフラプラシアンカーネルを用いる場合、この枠組みの特殊ケースであることが示され、標準的なGPツールによる効率的推論が可能になる。
• モデルは地理空間予測タスクにおいて優れた性能を発揮し、不動産価格および月次家賃の予測において、基準モデルを上回る。
• 理論的証明により、木構造のタスクグラフにおける共分散行列の逆行列がグラフラプラシアンに一致することが確認され、カーネル構造の正当性が裏付けられる。
• この枠組みは離散的マルチタスク設定にとどまらず、時間や場所などの連続的タスク変数へも一般化可能であり、コンセプトドリフトのモデル化が可能になる。