[論文レビュー] Bayesian Alignments of Warped Multi-Output Gaussian Processes

Markus Kaiser, Clemens Otte+2 more|arXiv (Cornell University)|Oct 8, 2017

Gaussian Processes and Bayesian Inference参考文献 18被引用数 3

ひとこと要約

本稿では、非線形な時間的アライメントと複数の時系列間の共有潜在構造をモデル化するためのベイジアンフレームワーク（AMO-GP）を提案する。変分推論とカーネル統計量の閉形式期待値を導入することで、柔軟かつ原理的かつ不確実性を伴う誤差伝搬が可能となり、標準的なガウス過程（GP）よりも、出力間の依存関係や非線形ワーピングをよりよく捉えることができる。

ABSTRACT

We propose a novel Bayesian approach to modelling nonlinear alignments of time series based on latent shared information. We apply the method to the real-world problem of finding common structure in the sensor data of wind turbines introduced by the underlying latent and turbulent wind field. The proposed model allows for both arbitrary alignments of the inputs and non-parametric output warpings to transform the observations. This gives rise to multiple deep Gaussian process models connected via latent generating processes. We present an efficient variational approximation based on nested variational compression and show how the model can be used to extract shared information between dependent time series, recovering an interpretable functional decomposition of the learning problem. We show results for an artificial data set and real-world data of two wind turbines.

研究の動機と目的

• 標準的な多出力GPが固定された時間オフセットを仮定するため、複雑な非線形な時間的アライメントを有する複数の時系列間のモデリングに失敗する状況において、それらの間の非線形的時間的アライメントをモデル化すること。
• 相対的な時間オフセットと非線形ワーピングを捉える共有畳み込みプロセス（CP）層を介して、複数のディープガウス過程間での情報共有を可能にすること。
• カーネル統計量の閉形式期待値を有する変分推論スキームを構築し、効率的な最適化と不確実性の定量化を可能にすること。
• 特に、アライメントがずれているか、非線形的に変換された観測値がある状況において、潜在的な共有ダイナミクスと出力固有のワーピング関数をデータから回復すること。
• アライメントとワーピングに対する原理的ベイジアン取り扱いを組み込むことで、標準的な多出力GPやディープガウス過程よりもモデリングの柔軟性と正確性を向上させること。

提案手法

• 複数のディープガウス過程の共通インターフェースとして機能する共有畳み込みプロセス（CP）層を導入し、出力間での情報共有を可能にする。
• アライメント変数の上に変分分布 q(a) ∼ N(μa, Σa) を設定することで、潜在的な時間的アライメントに対するベイジアン取り扱いを実施する。
• GP事前分布と変分近似の下で、カーネル行列の主要なΨ統計量（Ψf = E[Kfu], Φf = E[KufKfu], ψf = E[tr(Kff)]）の閉形式表現を導出する。
• 各出力に対してワーピング層 g_d を用い、定数オフセットを超える柔軟なアライメントを可能にする非線形時間変換をモデル化する。
• 複数のGPを同時に扱えるように、共有の誘導変数を有するネストド変分圧縮を多出力ディープGP推論に拡張する。
• データポイントに沿った期待値の因数分解を活用して確率的最適化を実施し、O(NM²)時間で効率的な計算を実現する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンフレームワークは、アライメントパrameterの不確実性を保ちつつ、複数の時系列間の非線形的時間的アライメントを効果的にモデル化できるか？
• RQ2 観測値が時間的にずれたり非線形的に歪められたりしている状況において、複数出力間で共有される潜在構造をどのようにモデル化できるか？
• RQ3 不確実なアライメントを伴う畳み込みプロセスにおいて、カーネル期待値統計量（Ψf, Φf, ψf）の閉形式解が存在するか？
• RQ4 提案されたAMO-GPモデルは、標準的な多出力GPやディープガウス過程と比較して、予測性能と構造的回復性をどの程度向上させるか？
• RQ5 非線形的時間歪みが存在する状況において、モデルは潜在的な共有ダイナミクスと個々のワーピング関数の両方をデータから回復できるか？

主な発見

• 合成データにおいて、AMO-GPモデルは真の非線形アライメントおよびワーピング関数を効果的に回復し、標準的な多出力GPやディープGPモデルを上回る性能を示した。
• 標準的な多出力GPが固定された時間オフセットを仮定するため失敗する出力間の依存関係を、本モデルは正しく捉えている。
• RBFカーネルおよび線形カーネルの仮定の下で、Ψ統計量（Ψf, Φf, ψf）の閉形式解が導出され、効率的な確率的最適化が可能となった。
• 共有畳み込みプロセス層により、複数のディープGP間での効果的な情報共有が実現され、一般化性能と予測性能が向上した。
• 実世界の風力タービンデータセットにおいて、AMO-GPは潜在的な支配的風況態とタービンに到達する風の前線の相対的タイミングを効果的に回復した。
• 浅いGPやディープGPとは異なり、不確実性が高くなる領域においても、本モデルは事前分布に還元されない。これは、アライメントの不確実性を学習し、それを適切に伝搬できる能力に起因する。