[論文レビュー] Markovian Gaussian Process Variational Autoencoders

Harrison Zhu, Carles Balsells Rodas+1 more|arXiv (Cornell University)|Jul 12, 2022

Gaussian Processes and Bayesian Inference被引用数 5

ひとこと要約

本稿では、マルコフ型ガウス過程（Markovian GP）の等価な離散状態空間表現を活用することで、カルマンフィルタリングおよびスムージングを用いた線形時間トレーニングを可能にするスケーラブルな順序付きVAE、Markovian Gaussian Process Variational Autoencoders (MGPVAE) を提案する。ガウス過程のグローバルなインダクティブバイアスと線形状態空間モデルの計算効率を組み合わせることで、MGPVAE は長時間系列データにおいてもスケーラビリティを維持しながら、高次元時系列および時空間的タスクで最先端の性能を達成する。

ABSTRACT

Sequential VAEs have been successfully considered for many high-dimensional time series modelling problems, with many variant models relying on discrete-time mechanisms such as recurrent neural networks (RNNs). On the other hand, continuous-time methods have recently gained attraction, especially in the context of irregularly-sampled time series, where they can better handle the data than discrete-time methods. One such class are Gaussian process variational autoencoders (GPVAEs), where the VAE prior is set as a Gaussian process (GP). However, a major limitation of GPVAEs is that it inherits the cubic computational cost as GPs, making it unattractive to practioners. In this work, we leverage the equivalent discrete state space representation of Markovian GPs to enable linear time GPVAE training via Kalman filtering and smoothing. For our model, Markovian GPVAE (MGPVAE), we show on a variety of high-dimensional temporal and spatiotemporal tasks that our method performs favourably compared to existing approaches whilst being computationally highly scalable.

研究の動機と目的

• ガウス過程VAE（GPVAE）の立方時間計算量 O(T³) を、長時間系列へのスケーラビリティを損なわずに O(T) に低減すること。
• 滑らかさや周期性といったガウス過程のグローバルなインダクティブバイアスを、離散時刻状態空間モデルの計算効率と組み合わせること。
• 連続時刻のガウス過程事前分布を活用することで、不規則にサンプリングされた時系列の効果的モデリングを可能にすること。
• ニューラルODEやSDEのトレーニングの不安定性および数値的問題を避ける、既存の順序付きVAEの代替としてスケーラブルな手法を開発すること。
• 高次元時系列および時空間的データセットにおいて、線形時間複雑性を維持したまま競争力のある性能を達成すること。

提案手法

• 本手法は、線形ストキャスティック微分方程式（SDE）を介して正確な線形状態空間表現を有するマルコフ型ガウス過程を用いる。
• 潜在動的は線形ガウス状態空間としてモデル化され、カルマンフィルタリングおよびスムージングを用いた効率的な推論が可能になる。
• エンコーダの出力が潜在状態の事後分布をパrameter化され、その後、フィルタリングおよびスムージング手順を用いて推論が行われる。
• エビデンス下界（ELBO）を用いたエンドツーエンドのトレーニングが行われ、推論中に任意の時刻 t における事後予測分布が計算される。
• ガウス過程事前分布の連続時刻性を活用することで、定期的および不規則にサンプリングされた時系列の両方をサポートする。
• 効率的な計算のため、JAX および Objax を使用し、ELBO に対する確率的勾配最適化が実装されている。

実験結果

リサーチクエスチョン

• RQ1 GPVAE の計算コストを O(T³) から O(T) に低減させつつ、グローバルな時系列構造のモデリング能力を維持できるか？
• RQ2 ガウス過程の連続時刻のインダクティブバイアスを、離散線形状態空間モデルの効率性とVAEフレームワーク内で効果的に組み合わせられるか？
• RQ3 提案された MGPVAE は、長時間、高次元、不規則にサンプリングされた時系列において、既存の順序付きVAEを上回る性能を示すか？
• RQ4 時空間的設定において、未観測の時刻および空間位置に対しても一般化でき、高い予測精度を達成できるか？
• RQ5 MGPVAE の線形時間トレーニングは、多様な時系列および時空間的データセットにおいて、ロバストでスケーラブルか？

主な発見

• MGPVAE は、気象データやロボット制御シーケンスを含む、高次元時系列および時空間的ベンチマークで最先端の性能を達成した。
• 未観測の時刻における一般化性能が強く、推論中に任意の t における正確な事後予測分布が計算された。
• ERA5気象データセットにおいて、SVGPVAE や VRNN、KVAE よりも低いテストNLLおよびRMSEを達成し、トレーニング時間も大幅に短縮された。
• モデルは線形時間複雑性を維持しており、T=100 などの長時間系列でも、標準的な GPVAE が直面する O(T³) のボトルネックを回避できる。
• 不規則にサンプリングされたデータにおいて、latentODE や CRU を上回り、任意の t ∈ (t₀, tₙ) における条件付けと予測が可能だった。
• カルマンフィルタリングおよびスムージングの使用により、潜在状態空間における正確な事後推論が可能となり、トレーニングの安定性と予測精度が向上した。