[論文レビュー] Infinite Mixtures of Multivariate Gaussian Processes

Shiliang Sun|arXiv (Cornell University)|Jul 26, 2013

Gaussian Processes and Bayesian Inference参考文献 7被引用数 13

ひとこと要約

本稿では、多重モードのベクトル値関数をモデル化し、マルチタスク学習を可能にする無限混合多変量ガウス過程（IMMGP）を提案する。ディリクレ過程事前分布を用いて、データ駆動的で未知の数の成分を推定する。モデルは、潜在変数とハイパーパrameterの同時推論にマルコフ連鎖モンテカルロ（MCMC）サンプリングを用い、複雑で非ガウス型のデータ構造を捉える一方で、計算複雑性を軽減し、合成データ上で回帰性能を向上させる。

ABSTRACT

This paper presents a new model called infinite mixtures of multivariate Gaussian processes, which can be used to learn vector-valued functions and applied to multitask learning. As an extension of the single multivariate Gaussian process, the mixture model has the advantages of modeling multimodal data and alleviating the computationally cubic complexity of the multivariate Gaussian process. A Dirichlet process prior is adopted to allow the (possibly infinite) number of mixture components to be automatically inferred from training data, and Markov chain Monte Carlo sampling techniques are used for parameter and latent variable inference. Preliminary experimental results on multivariate regression show the feasibility of the proposed model.

研究の動機と目的

• 標準的な多変量ガウス過程が、立方体の計算複雑性のため、多重モードデータのモデル化や大規模データの処理に限界を示す問題に対処すること。
• 単変量ガウス過程で成功した無限混合フレームワークを、関連するタスクの共同学習を目的とした多変量設定に拡張すること。
• ディリクレ過程事前分布を用いて、手動でのモデル選択を回避する成分数の自動推論を可能にすること。
• 高次元出力空間における複雑な構造を扱うために、MCMC手法を用いたスケーラブルな推論および予測フレームワークの構築すること。

提案手法

• 無限個の多変量ガウス過程成分に対してディリクレ過程事前分布を適用し、成分数の非パラメトリック推論を可能にする。
• 各成分ごとに完全な共分散行列を持つガウス分布を入力空間に用い、平均および精度行列に共役事前分布を設定する。
• チャイナレストランプロセスの比喩を用いて、新しいデータポイントを既存の成分または新しい成分に割り当てる確率を計算する。
• ギブスサンプリングおよびスライスサンプリングを用いて、MCMCサンプリングにより、潜在的成分割り当て、ハイパーパrameter、モデルパラメータを同時に推論する。
• 予測は、成分割り当てと潜在関数の周辺化を用い、予測分布のモンテカルロ近似を実行する。
• 新しい成分には非情報的事前分布を適用し、不確実な予測密度をモンテカルロ統合により近似する。

実験結果

リサーチクエスチョン

• RQ1 標準的な多変量ガウス過程が捉えきれない多重モードのベクトル値データを、無限混合多変量ガウス過程が効果的にモデル化できるか？
• RQ2 非パラメトリックベイジアンアプローチを用いて、手動のチューニングを伴わずに、データから成分数を自動的に推論できるか？
• RQ3 標準的なマルチタスク学習手法と比較して、多変量出力において回帰精度を向上させつつ、計算の実行可能性を維持できるか？
• RQ4 予測時に新しい成分を追加する選択肢を含めると性能にどのような影響があり、モデルの複雑さと精度のトレードオフは何か？

主な発見

• 提案されたIMMGPモデルは、合成多変量回帰データセットにおいてテストの平均二乗誤差（RMSE）が0.7963に達し、MTLNNベースライン（RMSE = 2.0659）を著しく上回った。
• 予測時に新しい成分を割り当てるオプションを含めた（IMMGP2）モデルは、既存成分に制限されたモデル（IMMGP1）とほぼ同等の性能を示し、成分選択の堅牢性と安定性を示した。
• モデルは混合成分を通じて多重モードのデータ構造を効果的に捉え、標準的な多変量ガウス過程の単一モード制限を克服した。
• ディリクレ過程事前分布の使用により、成分数の自動推論が可能になり、事前の指定が不要となり、モデル選択の負担が軽減された。
• MCMCベースの推論は、高次元かつ複雑な出力空間においても、潜在変数とハイパーパrameterの事後分布を効果的に探索でき、正確な予測を可能にした。
• 予測の平均は、成分割り当てのモンテカルロ周辺化により計算され、ガウス過程事前分布下での期待値は解析的に計算された。