[論文レビュー] Non-linear process convolutions for multi-output Gaussian processes

Mauricio A. Álvarez, Wil O. C. Ward+1 more|arXiv (Cornell University)|Oct 10, 2018

Gaussian Processes and Bayesian Inference参考文献 26被引用数 6

ひとこと要約

本稿では、ボルテラ級数展開を用いて、多出力ガウス過程のプロセス畳み込みフレームワークの非線形拡張を提案する。これにより、柔軟な非線形な共分散構造が可能となり、合成および実世界のデータセット（気象データやSARCOSロボットアームデータを含む）において、古典的プロセス畳み込み、ICM、DGPと比較して優れた予測性能を発揮する。平均および共分散関数の閉形式表現は、ガウス変数の積モーメントを用いて導出され、特にNLPDの観点で顕著な向上を示す。

ABSTRACT

The paper introduces a non-linear version of the process convolution formalism for building covariance functions for multi-output Gaussian processes. The non-linearity is introduced via Volterra series, one series per each output. We provide closed-form expressions for the mean function and the covariance function of the approximated Gaussian process at the output of the Volterra series. The mean function and covariance function for the joint Gaussian process are derived using formulae for the product moments of Gaussian variables. We compare the performance of the non-linear model against the classical process convolution approach in one synthetic dataset and two real datasets.

研究の動機と目的

• 多出力ガウス過程における線形な共分散構造の制限を解消し、複雑な出力依存関係を捉えるためのモデルの柔軟性を高めること。
• 潜在プロセスモデリングの解釈可能性を保ちつつ、非線形変換を可能にする古典的プロセス畳み込みフレームワークの非線形一般化を開発すること。
• 得られる非線形多出力GPの平均および共分散関数に対して、解析的に取り扱える閉形式表現を導出すること。
• 合成および実世界のデータセットを用いた実験的検証を通じて、提案モデルが既存のベースライン（ICM、DGPなど）を上回る予測性能を示すことを確認すること。
• 出力次元ごとに異なるボルテラ級数次数（C_d）を許容することで、出力に特有の非線形性をモデル化し、モデルの表現能力を向上させることを検討すること。

提案手法

• 各出力に対して、潜在ガウス過程の多項式展開（ボルテラ級数展開）を用い、カーネル関数による非線形変換を導入する。
• ガウス確率変数の積モーメントの公式を適用し、非線形変換された出力の平均および共分散関数を解析的に計算する。
• 潜在プロセスがゼロ平均GPであると仮定し、潜在プロセスとスムージングカーネルの積分をとることで、多出力プロセスの同時平均および相互共分散関数を導出する。
• 潜在プロセスには平方指数（RBF）カーネル、スムージング関数にはマトérn類似カーネルを用い、分離可能で一様なボルテラカーネルを採用する。
• 大規模なデータセットへのスケーラビリティを実現するため、変分推論フレームワークを用いて事後分布を近似する。
• 出力次元ごとに異なるボルテラ級数次数（C_d）を許容し、出力間での非線形性の不均一性をモデル化可能とする。次数Cは各出力における非線形性の程度を決定する。

実験結果

リサーチクエスチョン

• RQ1 プロセス畳み込みフレームワークの非線形拡張は、線形代替手法と比較して、多出力ガウス過程の予測性能を向上させることができるか？
• RQ2 ボルテラ級数を用いることで、非線形変換された多出力GPの平均および共分散関数に対して、閉形式表現を導出できるか？
• RQ3 提案された非線形モデルは、古典的プロセス畳み込み、ICM、深層ガウス過程と比較して、予測精度および不確実性の定量化において優れているか？
• RQ4 異なるボルテラ級数次数（C）が個々の出力における予測性能に与える影響は何か？また、出力に特有の次数を許容することで、モデルの忠実性が向上するか？
• RQ5 高次元入力空間および大規模データセットに対しても、計算的妥当性を維持しながらフレームワークを拡張可能か？

主な発見

• 合成データセットにおいて、C=5の非線形プロセス畳み込みモデル（NCMOGP）が、NLPD（0.6431）およびNMSE（0.4425）で最小値を記録し、CMOGP、ICM、DGPを上回る性能を示した。
• 気象データセットでは、NCMOGP5がChimetで最も低いNLPD（1.8280）を達成し、NCMOGP3がCambermetで最も低いNMSE（0.4252）を記録し、ICMおよびDGPを上回った。
• 高次元SARCOSデータセットでは、NCMOGP2がNMSE（0.0478 ± 0.0238）およびNLPD（1.4067 ± 1.1032）で最小値を記録し、DGPおよびICMと同等またはそれを上回る予測性能を示した。
• 最適なボルテラ級数次数Cは出力ごとに異なる：d=1,2,3,7ではC=4、d=4,6ではC=3、d=5ではC=5であり、出力に特有の非線形性が有効であることが示された。
• 不確実性の定量化が向上しており、SARCOS実験においてNCMOGP2が全出力で最も低いNLPDを記録し、より適切にキャリブレートされた予測分散を示した。
• 本フレームワークは、高次元入力（SARCOSではp=21）に対してもスケーラブルであり、複数のランダムな訓練・テスト分割においても安定した性能を維持し、性能指標の分散が小さいことが確認された。