[論文レビュー] Multivariate Gaussian and Student-t Process Regression for Multi-output Prediction and Stock Market Modelling

Zexun Chen, Bo Wang+1 more|arXiv (Cornell University)|Mar 13, 2017

Grey System Theory Applications被引用数 1

ひとこと要約

本稿では、多変量ガウス過程回帰（MV-GPR）と多変量スチューデントt過程回帰（MV-TPR）を統合するフレームワークを提案し、再形式化手法に依存しない閉形式の周辺尤度および予測分布を可能にすることで、従来の再形式化手法の制限を克服する。この手法により、大気質、自転車レンタル、株式市場データにおける多出力予測が向上し、MV-TPRは優れた性能を示し、収益性のある投資戦略の生成も可能となる。

ABSTRACT

Gaussian process model for vector-valued function has been shown to be useful for multi-output prediction. The existing method for this model is to re-formulate the matrix-variate Gaussian distribution as a multivariate normal distribution. Although it is effective in many cases, re-formulation is not always workable and is difficult to apply to other distributions because not all matrix-variate distributions can be transformed to respective multivariate distributions, such as the case for matrix-variate Student$-t$ distribution. In this paper, we propose a unified framework which is used not only to introduce a novel multivariate Student$-t$ process regression model (MV-TPR) for multi-output prediction, but also to reformulate the multivariate Gaussian process regression (MV-GPR) that overcomes some limitations of the existing methods. Both MV-GPR and MV-TPR have closed-form expressions for the marginal likelihoods and predictive distributions under this unified framework and thus can adopt the same optimization approaches as used in the conventional GPR. The usefulness of the proposed methods is illustrated through several simulated and real data examples. In particular, we verify empirically that MV-TPR has superiority for the datasets considered, including air quality prediction and bike rent prediction. At last, the proposed methods are shown to produce profitable investment strategies in the stock markets.

研究の動機と目的

• 行列分散ガウス過程手法が行列分散分布を多変量形式に再形式化することに依存するという既存手法の制限に対処すること。
• 再形式化を必要とせず、多出力回帰に適した多変量ガウス過程と多変量スチューデントt過程の両方を扱える統合フレームワークの開発。
• 従来のガウス過程回帰と同一の最適化フレームワークを用いて、MV-GPRおよびMV-TPRにおける周辺尤度と予測分布の閉形式表現を可能にすること。
• 特に大気質、自転車レンタル、金融時系列予測の分野において、シミュレーションおよび実世界データセットを用いた実証的検証。
• 株式市場データにおける収益性のある投資戦略の生成を通じて、モデルの実用的有用性を示すこと。

提案手法

• 行列分散分布を多変量形式に変換することなく、多変量ガウス過程と多変量スチューデントt過程を両方とも行列分散分布として扱う統合フレームワークを提案。
• 新しいフレームワーク下で、MV-GPRおよびMV-TPRの周辺尤度と予測分布の閉形式表現を導出。
• 標準的なガウス過程回帰と同一の最適化手法を活用し、効率的なハイパーパramータ学習を実現。
• 構造化された共分散カーネルを用いて、複数出力の関数を一つのベクトル値関数としてモデル化することで、多出力予測タスクに適用。
• 外れ値の影響に対してより頑健な性能を発揮するよう、行列分散スチューデントt分布を用いて重い尾部ノイズをモデル化。
• MV-GPRおよびMV-TPRの両者に同一のカーネル構造を適用することで、分布間での一貫性あるモデリングと比較が可能に。

実験結果

リサーチクエスチョン

• RQ1 行列分散分布の再形式化に依存せずに、多変量ガウス過程と多変量スチューデントt過程の両方をモデル化できる統合フレームワークを開発可能か？
• RQ2 外れ値や重い尾部ノイズを伴う多出力予測タスクにおいて、提案されたMV-TPRモデルはMV-GPRを上回る性能を示すか？
• RQ3 提案フレームワークにおける閉形式表現が、標準GPRと同等の効率的な最適化および推論を可能にするか？
• RQ4 MV-TPRモデルは、重い尾部リターンに頑健であることを踏まえ、株式市場データにおいて収益性のある投資戦略を生成可能か？
• RQ5 提案モデルは、大気質や自転車レンタル予測といった実世界データセットにおいて、既存手法と比較して優れた性能を示すか？

主な発見

• 提案された統合フレームワークにより、MV-GPRおよびMV-TPRの両方において周辺尤度と予測分布の閉形式表現が可能となり、効率的な最適化が実現される。
• MV-TPRは、大気質および自転車レンタル予測データセットにおいてMV-GPRを上回る性能を示し、重い尾部ノイズの処理において特に優れた性能を発揮する。
• 従来の再形式化手法の制限を回避でき、特に多変量スチューデントt分布のように多変量形式に変換できない分布に対しても有効である。
• 実証的結果から、外れ値が存在する状況でもMV-TPRはより頑健な予測を実現しており、実世界の多出力回帰に適していることが確認された。
• 提案モデルは、株式市場データにおいて収益性のある投資戦略を生成でき、標準的な回帰タスクを超えた実用的有用性を示している。
• 従来のGPRで用いられる最適化アプローチが、新フレームワーク下でMV-GPRおよびMV-TPRの両者に直接適用可能であり、計算効率が保証されている。