[論文レビュー] Online Sparse Gaussian Process Training with Input Noise

Hildo Bijl, Thomas B. Schön+2 more|arXiv (Cornell University)|Jan 29, 2016

Gaussian Processes and Bayesian Inference参考文献 26被引用数 7

ひとこと要約

本稿では、ノイズの多い入力点を効率的に処理し、定数時間で新しい測定値を統合できる、新しいオンラインスパースガウス過程回帰アルゴリズムSONIGを提案する。スパース近似とオンライン学習、入力ノイズモデリングを組み合わせることで、従来の手法に比べて優れた精度とスケーラビリティを達成し、非線形ブラックボックスシステム同定において優れた性能を示す。

ABSTRACT

Gaussian process regression traditionally has three important downsides. (1) It is computationally intensive, (2) it cannot eciently implement newly obtained measurements online, and (3) it cannot deal with stochastic (noisy) input points. In this paper we present an algorithm tackling all these three issues simultaneously. The resulting Sparse Online Noisy Input GP (SONIG) regression algorithm can incorporate new measurements in constant runtime. A comparison has shown that it is more accurate than similar existing regression algorithms. In addition, the algorithm can be applied to non-linear black-box system modeling, where its performance is competitive with non-linear ARX models.

研究の動機と目的

• 従来のガウス過程回帰における計算非効率性を解消すること。
• オンライン学習の文脈で、新しい測定値をリアルタイムに統合できること。
• 標準のGP手法が効果的に扱えない確率的（ノイズのある）入力点をモデル化すること。
• 非線形ブラックボックスシステム同定に適したスケーラブルで高精度な回帰手法を開発すること。
• 精度と効率の両面で、既存のオンラインおよびスパースGP手法を上回ること。

提案手法

• アルゴリズムは、スパース近似を用いて計算複雑性を低減し、全データを表すために誘導点の集合に依存する。
• 真の入力をノイズのある観測入力の周囲にガウス分布を持つ潜在変数としてモデル化することで、入力ノイズを組み込む。
• 後方分布を段階的に更新するオンライン学習を採用し、各新しいデータポイントに対して定数時間の更新を実現する。
• 変分推論フレームワークを用いて後方分布を近似し、ハイパーパramータおよび誘導点の効率的最適化を可能にする。
• 固定サイズの表現を維持するため、ストリーミングまたは大規模データの応用に適している。
• スパースGPとオンライン学習、入力ノイズモデリングを統合した統一フレームワークを構築し、リアルタイムかつ高精度な回帰を実現する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程回帰手法は、計算の tractability を保ちながら、ノイズの多い入力点を効率的に処理できるか？
• RQ2 オンライン学習をスパースGPに統合することで、新しいデータに対して定数時間の更新が可能か？
• RQ3 提案手法は、既存のオンラインおよびスパースGPアプローチに比べ、精度とスケーラビリティの両面で優れているか？
• RQ4 非線形ブラックボックスシステム同定タスクにおいて、この手法はどの程度の性能を示すか？
• RQ5 スパース性とオンライン更新を通じて計算コストを削減しつつ、予測精度を維持できるか？

主な発見

• SONIGアルゴリズムは、新しい測定値に対して定数時間の更新を達成し、バッチGP手法に比べて著しく効率性が向上する。
• 実験的比較において、類似のオンラインおよびスパースGP回帰アルゴリズムに比べ、高い精度を示す。
• 入力不確実性を明示的にモデル化することで、ノイズのある入力点を効果的に処理し、耐障害性が向上する。
• 非線形システム同定タスクにおいて、非線形ARXモデルと競合する性能を発揮する。
• 大規模またはストリーミングデータセットに対しても、高い予測性能を維持しながら効率的にスケーリングする。
• スパース性、オンライン学習、入力ノイズモデリングの統合により、頑健で実用的な回帰フレームワークが実現される。