[論文レビュー] Variational Inducing Kernels for Sparse Convolved Multiple Output Gaussian Processes

Mauricio A. Álvarez, David Luengo+2 more|ArXiv.org|Dec 16, 2009

Gaussian Processes and Bayesian Inference参考文献 20被引用数 6

ひとこと要約

本論文は、スパースな畳み込み多出力ガウス過程における変分誘導カーネルを導入し、誘導関数と変分バウンディングを用いて多出力GPモデルへの変分推論を拡張する。畳み込み過程と変分近似を組み合わせることで、相関のある複雑な出力設定において効率的でスケーラブルな推論を可能にし、実世界の回帰タスクにおいてより高いロバスト性とパフォーマンスを達成する。

ABSTRACT

Interest in multioutput kernel methods is increasing, whether under the guise of multitask learning, multisensor networks or structured output data. From the Gaussian process perspective a multioutput Mercer kernel is a covariance function over correlated output functions. One way of constructing such kernels is based on convolution processes (CP). A key problem for this approach is efficient inference. Alvarez and Lawrence (2009) recently presented a sparse approximation for CPs that enabled efficient inference. In this paper, we extend this work in two directions: we introduce the concept of variational inducing functions to handle potential non-smooth functions involved in the kernel CP construction and we consider an alternative approach to approximate inference based on variational methods, extending the work by Titsias (2009) to the multiple output case. We demonstrate our approaches on prediction of school marks, compiler performance and financial time series.

研究の動機と目的

• 畳み込み過程を用いた多出力ガウス過程における推論の計算的非実行可能性（スケーリング：O(N³D³)）に対処すること。
• FITC や PITC のような既存のスパース近似法の限界を克服すること。これらの手法は、誘導入力を最適化する際に過学習を引き起こす可能性がある。
• 従来、単出力GPに適用されてきた変分推論手法を、誘導関数を用いて多出力ケースに拡張すること。
• 畳み込み過程と変分バウンディング、変分誘導関数を組み合わせることで、多出力GPモデルにおけるロバストでスケーラブルな推論を可能にすること。
• 微分方程式などの物理的モデルを、カーネル畳み込みを通じて多出力GP事前分布に原理的かつ効果的に組み込むためのフレームワークを提供すること。

提案手法

• 畳み込み過程における潜在プロセスをモデル化するための変分誘導関数を提案し、滑らかでない関数の柔軟でロバストな近似を可能にする。
• Titsias (2009) のスパースGPフレームワークを多出力ケースに適応し、多出力畳み込みGP用の変分バウンディングを導入する。
• 潜在関数の誘導点を条件付き独立と仮定することで、計算複雑度を低減する。
• 行列微積分とベクトル化技術を用いて、変分下界の閉形式勾配を導出し、ハイパーパramータおよび誘導点の最適化を可能にする。
• 潜在関数とカーネル関数 Gd,q(x−z) の畳み込みにより、共同共分散構造を構築し、コアリオン化線形モデルを一般化する。
• すべてのモデルパラメータ（カーネルハイパーパramータおよび誘導点位置を含む）に対して解析的導関数を備えた勾配ベースの最適化により、変分下界を最適化する。

実験結果

リサーチクエスチョン

• RQ1 畳み込み過程に基づく多出力ガウス過程における変分推論をどのように拡張できるか？
• RQ2 変分誘導関数は、多出力モデルのスパースGP近似における過学習に対してロバスト性を向上させることができるか？
• RQ3 変分バウンディングの使用が、畳み込み多出力GPモデルの予測性能と安定性に与える影響は何か？
• RQ4 実世界のデータにおいて、本手法は従来のスパースGP近似法（例：FITC, PITC）と比較して、スケーラビリティと正確性の点で優れているか？
• RQ5 微分方程式からの物理的知識が、カーネル畳み込みを通じて多出力GP事前分布に効果的に組み込まれるか？

主な発見

• 提案された変分誘導カーネルフレームワークは、従来のFITCやPITC近似と比較して、過学習に対する著しいロバスト性を示した。
• 本手法は、推論の計算複雑度を K 個の誘導点と N 個のデータポイントを用いて O(K²N) に低減させ、スケーラビリティを実現した。
• 学校成績、コンパイラ性能、金融時系列データに対する実験結果から、予測性能が最先端であり、予測分散も低かった。
• 変分バウンディングは、誘導点とカーネルハイパーパラメータの共同最適化のための妥当な目的関数を提供し、一般化性能を向上させた。
• 変分誘導関数の使用により、滑らかでない潜在プロセスの効果的なモデリングが可能になり、カーネル構築における柔軟性が向上した。
• 行列微積分を用いた勾配導出により、効率的な最適化が可能となり、すべてのベンチマークデータセットで安定した収束を示した。