[論文レビュー] Sparse Convolved Multiple Output Gaussian Processes

Mauricio A. Álvarez, Neil D. Lawrence|ArXiv.org|Nov 26, 2009

Gaussian Processes and Bayesian Inference参考文献 47被引用数 7

ひとこと要約

本稿では、畳み込み過程を用いた複数出力ガウス過程に対するスパース近似を提案し、条件付き独立性を活用することで、計算複雑性を O(N³D³) から O(NDK²) に低減する。この手法は PITC や FITC に類似した近似を採用し、実世界のデータ（大気汚染、試験成績、遺伝子発現など）におけるマルチタスク学習や構造的出力予測を効率的に行える。

ABSTRACT

Recently there has been an increasing interest in methods that deal with multiple outputs. This has been motivated partly by frameworks like multitask learning, multisensor networks or structured output data. From a Gaussian processes perspective, the problem reduces to specifying an appropriate covariance function that, whilst being positive semi-definite, captures the dependencies between all the data points and across all the outputs. One approach to account for non-trivial correlations between outputs employs convolution processes. Under a latent function interpretation of the convolution transform we establish dependencies between output variables. The main drawbacks of this approach are the associated computational and storage demands. In this paper we address these issues. We present different sparse approximations for dependent output Gaussian processes constructed through the convolution formalism. We exploit the conditional independencies present naturally in the model. This leads to a form of the covariance similar in spirit to the so called PITC and FITC approximations for a single output. We show experimental results with synthetic and real data, in particular, we show results in pollution prediction, school exams score prediction and gene expression data.

研究の動機と目的

• 複数出力ガウス過程（畳み込み過程に基づく）における完全共分散行列の高コストな計算と記憶コストを低減すること。
• 畳み込みフレームワークにおける条件付き独立性を活用し、スケーラブルな近似を導出すること。
• 単一出力のスパースGP近似（PITC および FITC）を多次元出力設定に拡張すること。
• 複雑な依存関係を有する実世界データに、畳み込みベースの複数出力GPを実用的に応用できること。
• 線形コリレーショナルモデルの代替手段として、より洗練された相関構造を保持しつつ計算効率を確保すること。

提案手法

• 共通の潜在過程と異なるスムージングカーネルの畳み込みとして複数出力をモデル化し、出力間の相関を誘導する。
• K 個の誘導点に条件付けたスパース近似を導入することで、完全共分散行列を低ランク構造に簡略化する。
• 条件付き独立性を活用：潜在過程が与えられた下で出力は条件付き独立であり、これによりブロック対角近似が可能になる。
• PITC（部分独立学習条件付き）および FITC（完全独立学習条件付き）フレームワークを多次元ケースに適応する。
• ハイパーパrameterおよび誘導点に関する対数周辺尤度とその勾配の閉形式表現を導出する。
• 行列逆行列の行列逆行列補題を用いた効率的計算により、近似事後分布および予測分布を算出する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みベースの複数出力GPにおける条件付き独立性は、スケーラブルなスパース近似を導出するために活用可能か？
• RQ2 畳み込み過程を介して多次元出力に拡張された PITC や FITC スタイルの近似は、どのように性能を示すか？
• RQ3 提案手法は、複数出力タスクにおける完全GP推論と比較して、計算コストおよび予測性能にどの程度の向上をもたらすか？
• RQ4 本手法は、大気汚染、試験成績、遺伝子発現といった実世界データの複雑な依存関係を効果的にモデル化できるか？
• RQ5 誘導点の配置や数の選択に、本手法はどの程度感度を示すか？

主な発見

• 提案されたスパース近似により、計算複雑性が O(N³D³) から O(NDK²) に、記憶コストが O(N²D²) から O(NDK) に低減され、大規模な多次元GP回帰が現実可能になる。
• 合成データおよび実世界データ（大気汚染予測、遺伝子発現データなど）において、完全GP推論と同等の予測性能を達成する。
• 学校の試験成績予測において、本モデルは出力間相関を活用することで、単一出力GPベースラインを上回る性能を示す。
• スパース畳み込み過程モデルは、未学習データへの一般化性能が高く、ベースラインのマルチタスクカーネルよりも一貫した対数周辺尤度の向上を示す。
• 実験的結果から、FITC スタイルの近似が、特にデータが限られた状況下で PITC よりも高い予測精度を達成することが示された。
• 本手法は誘導点の配置に強く依存せず、ハイパーパrameter最適化において安定して収束することが分かった。