[論文レビュー] Heteroscedastic Temporal Variational Autoencoder For Irregular Time Series

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|Jul 23, 2021

Time Series Analysis and Forecasting被引用数 7

ひとこと要約

この論文では、不規則にサンプリングされた多次元時系列データの確率的補間を目的とした、深層生成モデルであるHeteroscedastic Temporal Variational Autoencoder (HeTVAE)を提案する。不確実性を意識したマルチタイムアテンションエンコーダー、二重の決定的および確率的潜在パスウェイ、および不均一分散出力層を統合することで、希釈性に起因する時間的に変化する不確実性を明示的にモデル化し、PhysioNet や MIMIC-III を含む合成および実世界のデータセットにおいて、最先端の対数尤度性能を達成した。

ABSTRACT

Irregularly sampled time series commonly occur in several domains where they present a significant challenge to standard deep learning models. In this paper, we propose a new deep learning framework for probabilistic interpolation of irregularly sampled time series that we call the Heteroscedastic Temporal Variational Autoencoder (HeTVAE). HeTVAE includes a novel input layer to encode information about input observation sparsity, a temporal VAE architecture to propagate uncertainty due to input sparsity, and a heteroscedastic output layer to enable variable uncertainty in output interpolations. Our results show that the proposed architecture is better able to reflect variable uncertainty through time due to sparse and irregular sampling than a range of baseline and traditional models, as well as recently proposed deep latent variable models that use homoscedastic output layers.

研究の動機と目的

• 観測の希釈性が時間とともに変化する不規則にサンプリングされた多次元時系列における確率的補間の課題に対処すること。
• 従来の均一分散VAEが不確実性を潜在空間のみに依存するのに対し、出力不確実性を明示的にモデル化することで、深層生成モデルにおける不確実性の定量化を向上させること。
• 不均一分散出力に起因する学習不安定性を克服するため、ELBO と不確実性に依存しない損失を組み合わせた拡張学習目的を導入すること。
• 欠損データのパターンが複雑かつ非一様である医療や金融分野における正確で不確実性を考慮した補完を可能にすること。

提案手法

• 入力の希釈性と時間別観測パターンを分散潜在表現に統合する不確実性を意識したマルチタイムアテンションネットワーク（UnTAN）を導入する。
• 決定的パスウェイ（構造的信号伝播用）と確率的パスウェイ（不確実性モデリング用）の二重パスウェイアーキテクチャを採用する。
• 出力分布の平均と分散を予測する不均一分散出力層を用い、補間における時間的変化する不確実性を可能にする。
• データ構造がノイズに起因すると誤認されるような局所最適解への収束を防ぐために、標準的なELBOと不確実性に依存しない損失を組み合わせた拡張学習目的を適用する。
• 複数の時系列次元と基準時刻ポイントに跨る不規則な間隔の観測をアラインメントするため、アテンションメカニズムを活用する。
• バックプロパゲーションと勾配ベース最適化を用いて、希釈性の符号化、潜在表現、出力不確実性の共同学習を可能にするエンドツーエンドの訓練を実施する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間の不確実性に依存するのではなく、出力分散を明示的にモデル化することで、深層生成モデルが不規則にサンプリングされた時系列における時間的に変化する不確実性を効果的に捉えることができるか？
• RQ2 不均一分散出力層を組み込むことで、不規則時系列における均一分散VAEと比較して、確率的補間性能がどのように向上するか？
• RQ3 提案された拡張学習目的は、不均一分散出力構造に起因する学習不安定性をどの程度軽減するか？
• RQ4 分離された決定的および確率的パスウェイは、不確実性の定量化と再構成精度の向上にどのように寄与するか？
• RQ5 UnTANエンコーダーが入力の希釈性を符号化できる能力が、観測ギャップが変動する状況で、標準的なアテンションベースエンコーダーよりも優れた性能を発揮するか？

主な発見

• HeTVAE は、PhysioNet (0.5542 ± 0.0209) および MIMIC-III (0.6662 ± 0.0023) において、すべてのベースラインおよび最先端モデルを大きく上回る最高の対数尤度を達成した。
• アブレーションスタディの結果、拡張学習目的を削除した場合（HeTVAE - ALO）は、PhysioNet で9.8%の性能低下を示し、これは局所最適解への収束を回避する上でその目的が極めて重要であることを示している。
• 決定的パスウェイを削除した場合（HeTVAE - DET）は、MIMIC-III で3.5%の性能向上を示し、複雑な信号構造のモデリングに寄与していることが明らかになった。
• 完全なモデル（HeTVAE）は、PhysioNet における HTVAE-mTAN ベースラインと比較して、対数尤度で28.6%の向上を達成し、不均一分散出力と二重パスウェイの利点を実証した。
• 出力が均一分散のみで、他のすべてのコンポーネントを除いたアブレーション（HeTVAE - HET - INT - DET - ALO）は、PhysioNet で対数尤度1.2426と最大の性能低下を示し、提案されたすべてのコンポーネントの必要性を確認した。
• MIMIC-III では、確率的パスウェイと拡張損失のみを有するモデル（HeTVAE - PROB - ALO）が、決定的パスウェイを欠いた完全なモデルよりも優れた性能を示し、確率的パスウェイがコンポーネントの削除に対してより頑健であることを示唆した。