[論文レビュー] An Introduction to Gaussian Process Models

Thomas Beckers|arXiv (Cornell University)|Feb 10, 2021

Gaussian Processes and Bayesian Inference参考文献 32被引用数 24

ひとこと要約

本稿は、力学系における回帰のためのガウス過程モデルについて包括的な紹介を提供しており、ベイズ的基礎、カーネルに基づく構造、予測分散を通じた不確実性の定量化の能力に焦点を当てる。理論的根拠として、カーネル関数、ハイパーパrameter最適化、モデル選択のキーポイントを提示し、制御およびシステム同定への応用を含む。

ABSTRACT

Within the past two decades, Gaussian process regression has been increasingly used for modeling dynamical systems due to some beneficial properties such as the bias variance trade-off and the strong connection to Bayesian mathematics. As data-driven method, a Gaussian process is a powerful tool for nonlinear function regression without the need of much prior knowledge. In contrast to most of the other techniques, Gaussian Process modeling provides not only a mean prediction but also a measure for the model fidelity. In this article, we give an introduction to Gaussian processes and its usage in regression tasks of dynamical systems. Try Gaussian process regression yourself: https://gpr.tbeckers.com

研究の動機と目的

• ガウス過程を非パrametricなベイズ的手法として関数回帰に用いるための基礎的理解を提供すること。
• カーネル関数が共分散構造を定義し、関数に関する事前信念をモデル化する役割を説明すること。
• ガウス過程回帰が予測平均と分散を通じて不確実性の定量化を可能にすることを示すこと。
• ハイパーパrameter最適化（対数周辺尤度を用いた最適化と交差検証を含む）とモデル選択手法を提示すること。
• 状態空間モデルおよび非線形出力誤差モデルを用いた、マルチアウトプットおよび力学系モデリングへのフレームワークの拡張を示すこと。

提案手法

• 連続的なインデックス集合上での平均関数と共分散関数（カーネル）によって完全に定義される確率過程としてガウス過程を形式化する。
• ベイズの定理を用いて観測データで事前GPを更新し、予測のための事後GP分布を導出する。
• カーネルトリックを用いて入力を再生核ヒルベルト空間にマッピングし、明示的な特徴変換なしに非線形性を実現する。
• 多変量正規分布の条件付き分布を用いて、GP回帰における予測平均と分散を計算する。
• 対数周辺尤度の最大化と交差検証を用いてハイパーパrameterを最適化し、モデルの適合度と一般化性能のバランスを取る。
• 不確実性伝搬を伴うガウス過程状態空間モデルおよび非線形出力誤差モデルを用いて、フレームワークを力学系に拡張する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程は、不確実性の定量化を伴って力学系における非線形関数をどのようにモデル化できるか？
• RQ2 複雑な入出力関係を柔軟にモデル化可能にするカーネル関数の主な性質は何か？
• RQ3 バイアスとバイアスのバランスを保ちつつ、予測の正確性を維持するためのGPモデルのハイパーパrameter最適化法は何か？
• RQ4 再生核ヒルベルト空間は、GPモデルの関数的性質を理解する上で果たす役割は何か？
• RQ5 状態空間表現を用いたマルチアウトプットおよび力学系設定へのGPモデルの拡張方法は何か？

主な発見

• ガウス過程回帰は平均予測に加えて、完全な予測分散を提供し、きめ細かな不確実性の定量化を可能にする。
• カーネル関数の選択は、学習された関数の滑らかさと柔軟性に顕著な影響を与える。一般的な選択肢には、二乗指数カーネル、Matérnカーネル、有理二次カーネルがある。
• 対数周辺尤度によるハイパーパrameter最適化は、適合度と複雑さのバランスを取る原理的で整合性のあるモデル選択手法を提供する。
• 観測データを前提としたGP出力の条件付き分布は多変量正規分布に従い、事後平均と分散の正確な解析的計算が可能である。
• このフレームワークはマルチアウトプット回帰をサポートでき、状態空間モデルおよび非線形出力誤差モデルの定式化により力学系に拡張可能である。
• モデル誤差は、ロバスト、シナリオ、情報理論的アプローチにより取り扱うことができ、不確実な環境下での信頼性を向上させる。