[論文レビュー] The Gaussian Process Autoregressive Regression Model (GPAR)

James Requeima, Will Tebbutt+2 more|arXiv (Cornell University)|Feb 20, 2018

Gaussian Processes and Bayesian Inference参考文献 38被引用数 16

ひとこと要約

ガウス過程自己回帰回帰（GPAR）モデルは、連鎖的な条件付き独立ガウス過程に連携出力分布を分解することにより、スケーラブルで扱いやすい多出力回帰のアプローチを提案する。これにより、非線形かつ入力依存の出力依存関係を効率的にモデル化できる。GPARはベンチマークで最先端の性能を達成しながら、計算効率を維持している。

ABSTRACT

Multi-output regression models must exploit dependencies between outputs to maximise predictive performance. The application of Gaussian processes (GPs) to this setting typically yields models that are computationally demanding and have limited representational power. We present the Gaussian Process Autoregressive Regression (GPAR) model, a scalable multi-output GP model that is able to capture nonlinear, possibly input-varying, dependencies between outputs in a simple and tractable way: the product rule is used to decompose the joint distribution over the outputs into a set of conditionals, each of which is modelled by a standard GP. GPAR's efficacy is demonstrated on a variety of synthetic and real-world problems, outperforming existing GP models and achieving state-of-the-art performance on established benchmarks.

研究の動機と目的

• 既存の多出力ガウス過程モデルの計算非効率性と表現力の限界を解決すること。
• 扱いやすくスケーラブルな方法で、複雑で非線形かつ入力依存の出力間の依存関係をモデル化すること。
• 標準の多出力GPアプローチと比較して計算コストを低減しつつ、予測精度を維持するフレームワークを開発すること。
• 合成および実世界の多出力回帰タスクにおいて、強力な実証的性能を示すこと。
• 多様な回帰ベンチマークにわたって良好に一般化する柔軟でモジュラーなアーキテクチャを提供すること。

提案手法

• 確率の連鎖則を用いて、複数出力の同時分布を条件付き独立ガウス過程の系列に分解する。
• 各出力を、系列内の以前の出力に条件づけられたGPとしてモデル化することで、自己回帰構造を実現する。
• 各条件付き分布に対して標準のGP回帰を適用し、標準的なカーネルと推論技術を活用する。
• 各条件付きGPのカーネルハイパーパrameterが、以前の出力や入力特徴量に依存するようにすることで、入力依存の依存関係を可能にする。
• すべての出力にわたる完全な共分散行列演算を回避することで、計算スケーラビリティを確保する。代わりに、各条件付き分布を別個のGPとして扱う。
• 必要に応じて標準的なGP近似法や変分推論を用いて、効率的な推論と予測を実現する。

実験結果

リサーチクエスチョン

• RQ1 連携出力GP分布の構造的自己回帰的分解は、多出力回帰におけるスケーラビリティと表現力の向上に寄与するか？
• RQ2 GPARは、既存の多出力GPモデルと比較して、出力間の非線形的かつ入力依存の依存関係をどれほど効果的にモデル化できるか？
• RQ3 自己回帰的GPフレームワークは、標準的な多出力回帰ベンチマークで最先端の性能を達成するか？
• RQ4 GPARは、複雑な出力相関を捉える一方で、計算効率をどの程度維持できるか？
• RQ5 GPARは、多様な合成的および実世界の回帰タスクに効果的に一般化できるか？

主な発見

• GPARは、合成的および実世界の多出力回帰タスクのあらゆる範囲で、既存の多出力GPモデルを上回る優れた予測精度を示した。
• MUlti-Output Regression（MOR）チャレンジから提供されたベンチマークを含め、確立されたベンチマークでも最先端の性能を達成した。
• 完全な同時共分散モデル化を回避することで、GPARは計算効率を維持し、多数の出力がある場合でもスケーラブルな推論を可能にした。
• 自己回帰構造により、計算複雑度を著しく増加させることなく、非線形かつ入力依存の出力依存関係を効果的にモデル化できた。
• 実証結果から、GPARは多様なデータタイプおよび出力相関構造にわたって良好に一般化することが示された。
• 出力数や入力次元の変動に対しても、GPARは実験設定にかかわらず強力な性能を維持した。