[論文レビュー] MAGMA: Inference and Prediction with Multi-Task Gaussian Processes

Arthur Leroy, Pierre Latouche+2 more|arXiv (Cornell University)|Jul 21, 2020

Gaussian Processes and Bayesian Inference参考文献 32被引用数 2

ひとこと要約

この論文では、計算可能なハイパーパrameterの事後分布推論を可能にする、共通の平均プロセスをガウス過程（GP）としてモデル化する、Magmaと呼ばれる新しいマルチタスクガウス過程フレームワークを紹介する。EMアルゴリズムを用いることで、不規則な観測を持つタスク間で不確実性を考慮した計算効率の良い予測が可能となり、標準的なマルチタスクGPモデルと比較して、マルチステップ先予測性能が顕著に向上する。

ABSTRACT

A novel multi-task Gaussian process (GP) framework is proposed, by using a common mean process for sharing information across tasks. In particular, we investigate the problem of time series forecasting, with the objective to improve multiple-step-ahead predictions. The common mean process is defined as a GP for which the hyper-posterior distribution is tractable. Therefore an EM algorithm is derived for handling both hyper-parameters optimisation and hyper-posterior computation. Unlike previous approaches in the literature, the model fully accounts for uncertainty and can handle irregular grids of observations while maintaining explicit formulations, by modelling the mean process in a unified GP framework. Predictive analytical equations are provided, integrating information shared across tasks through a relevant prior mean. This approach greatly improves the predictive performances, even far from observations, and may reduce significantly the computational complexity compared to traditional multi-task GP models. Our overall algorithm is called extsc{Magma} (standing for Multi tAsk Gaussian processes with common MeAn). The quality of the mean process estimation, predictive performances, and comparisons to alternatives are assessed in various simulated scenarios and on real datasets.

研究の動機と目的

• 標準的なマルチタスクGPモデルがマルチステップ先時系列予測において抱える限界を解消すること。
• 疎な観測または不規則にサンプリングされた時系列の予測性能を向上させること。
• 共有された平均プロセスにおける不確実性を完全に反映する、計算可能な推論手法を開発すること。
• 共通の平均プロセスに統一されたGPフレームワークを活用することで、計算を効率化すること。
• タスク間で情報を統合する共有で情報的な事前分布を通じて、解析的な予測式を提供すること。

提案手法

• 不確実性の定量化を可能にするために、階層的事前分布を用いて共通の平均プロセスをガウス過程としてモデル化する。
• 個々のカーネルとハイパーパrameterを用いてタスク固有の共分散構造を定義すると同時に、平均プロセスを全タスクで共有する。
• ハイパーパrameterの共同最適化と共通平均プロセスのハイパーパラメータ事後分布の計算を可能にするEMアルゴリズムを導出する。
• コストの高いMCMCサンプリングを回避するため、平均プロセスの事後分布を解析的にマージナル化する。
• 共通平均プロセスの事後平均および共分散の閉形式表現を用いてEステップを定式化する。
• 共有された平均からの不確実性をタスク固有の予測に伝搬する予測式を統合する。

実験結果

リサーチクエスチョン

• RQ1 独立または標準的なマルチタスクGPモデルと比較して、共有されたGP平均プロセスはマルチステップ先時系列予測性能を向上させることができるか？
• RQ2 マルチタスク設定において、共通平均プロセスの不確実性を効率的に定量化し、伝搬させることは可能か？
• RQ3 計算可能なハイパーパラメータ事後分布推論を持つGPとして共通平均をモデル化することで、特に疎なまたは不規則に観測されたデータにおいて、より高い予測精度が得られるか？
• RQ4 提案されたEMベースの推論アルゴリズムは、複雑で高次元のマルチタスク時系列を処理しながらも、計算効率を維持できるか？
• RQ5 タスク間で共有されたハイパーパラメータと個別に設定されたハイパーパラメータの違いが、モデルの性能と一般化能力に与える影響は何か？

主な発見

• Magmaは、観測点から離れた領域においても、マルチステップ先予測性能を顕著に向上させる。
• 共通平均プロセスに統一されたGPフレームワークを活用することで、従来のマルチタスクGPモデルと比較して計算複雑度を低減する。
• EMアルゴリズムにより、ハイパーパラメータの共同最適化とハイパーパラメータ事後分布の計算が、計算可能な閉形式の更新式を用いて実現される。
• 共通平均プロセスはタスク間で情報を効果的に共有し、疎な観測の対象となる個々の予測をより頑健にする。
• シミュレーテッドおよび実データセットを用いた実験結果から、Magmaは予測精度と不確実性のキャリブレーションの両面でベースラインのマルチタスクGPモデルを上回ることが示された。
• RパッケージMagmaClustRは公開されており、研究の再現性と実用的応用を可能にしている。