[論文レビュー] GP-VAE: Deep Probabilistic Time Series Imputation

Vincent Fortuin, Dmitry Baranchuk+2 more|arXiv (Cornell University)|Jul 9, 2019

Gaussian Processes and Bayesian Inference参考文献 45被引用数 29

ひとこと要約

GP-VAE は、潜在空間にガウス過程事前分布を組み合わせた変分オートエンコーダーを用いて、滑らかで不確実性を考慮した多変量時系列の欠損値補完を実現する深層確率的モデルを提案する。医療およびコンピュータビジョンのデータにおいて、古典的手法および深層学習手法を上回る性能を発揮するとともに、解釈可能な不確実性推定と向上した時系列の滑らかさを提供する。

ABSTRACT

Multivariate time series with missing values are common in areas such as healthcare and finance, and have grown in number and complexity over the years. This raises the question whether deep learning methodologies can outperform classical data imputation methods in this domain. However, naive applications of deep learning fall short in giving reliable confidence estimates and lack interpretability. We propose a new deep sequential latent variable model for dimensionality reduction and data imputation. Our modeling assumption is simple and interpretable: the high dimensional time series has a lower-dimensional representation which evolves smoothly in time according to a Gaussian process. The non-linear dimensionality reduction in the presence of missing data is achieved using a VAE approach with a novel structured variational approximation. We demonstrate that our approach outperforms several classical and deep learning-based data imputation methods on high-dimensional data from the domains of computer vision and healthcare, while additionally improving the smoothness of the imputations and providing interpretable uncertainty estimates.

研究の動機と目的

• 医療および金融分野における多変量時系列の欠損値補完の課題に対処すること。
• 解釈不能で欠損データに対して脆弱な古典的手法、および不確実性の定量化に欠ける深層学習モデルの限界を克服すること。
• 時間的相関とチャネル間依存性を低次元潜在動的要因を介して統合的に扱う生成モデルの構築。
• 時間的事後分布相関を捉えながらも線形時間計算量を維持する、効率的な構造的変分推論の実現。
• 実世界の意思決定（例：臨床現場）に適した解釈可能な不確実性推定と滑らかな補完を提供すること。

提案手法

• 高次元で不完全な時系列を、欠損値が補完された低次元潜在空間に写像するための深層変分オートエンコーダー（VAE）を用いる。
• 潜在空間における時間的ダイナミクスを、多スケールのダイナミクスを捉えるために新規のコーシーカーネルを用いたガウス過程（GP）事前分布でモデル化する。
• 時間的相関を保持しつつ効率的な推論を可能にするために、別のガウス過程を用いて事後分布を構造化した変分近似を導入する。
• 推論および生成ネットワークの両方を微分可能にすることで、エンドツーエンドの最適化を可能にし、一貫性を確保する。
• 時間ステップ間で重みを共有する畳み込み型推論ネットワークと、深層全結合生成ネットワークを用いて、複雑な非線形関係をモデル化する。
• 構造的変分近似により線形時間計算量のサンプリングを実現し、完全なGP推論の立方時間コストを回避する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間にガウス過程事前分布を組み合わせた深層潜在変数モデルは、欠損値を含む多変量時系列において、古典的手法および深層学習手法を上回る性能を発揮するか？
• RQ2 GP-VAEにおける構造的変分推論アプローチは、計算効率を維持しつつ、事後分布内の時間的相関を効果的に捉えているか？
• RQ3 モデルは、データの疎らさやノイズレベルと相関する信頼性の高い不確実性推定を提供するか？
• RQ4 モデルは医療やコンピュータビジョンなど、異なる分野に一般化して適応できるか？
• RQ5 特にノイズが多いか疎らな臨床データにおいて、ベースラインと比較して滑らかで解釈可能な補完を実現できるか？

主な発見

• GP-VAE は、合成データおよび実世界データの両方において、平均補完、前方補完、およびGPベースのモデルといった古典的手法を上回る性能を発揮する。
• PhysioNet データセットでは、AUROC が 0.730 ± 0.006 を達成し、VAE や HI-VAE、GRUI-GAN および多数のベースラインを上回り、最先端の BRITS モデルと同等の性能を示す。
• GP事前分布のノイズ除去効果により、ベースラインと比較して滑らかな補完を実現している。これはカルマンフィルタに類似した働きを示す。
• 変分事後分布からの不確実性推定は、データの疎らさや測定ノイズと定性的に相関しており、臨床意思決定における解釈可能な信頼区間の提供が可能である。
• 構造的変分推論により、完全なGP事前分布を用いていながらも、事後分布からの線形時間サンプリングが可能となり、スケーラビリティが確保されている。
• 補完データ上で行う代理タスク（ロジスティック回帰）の性能が、真の尤度と良好に相関しており、補完品質の妥当性が裏付けられる。