[論文レビュー] Probabilistic Imputation for Time-series Classification with Missing Data

Seung-Hyun Kim, Hyun‐Su Kim+4 more|arXiv (Cornell University)|Aug 13, 2023

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

本稿では、欠損データを伴う多次元時系列分類のための確率的ディープラーニングフレームワークを提案する。MNAR仮定の下での深層生成モデルと、補完の不確実性を考慮した分類器を統合する。新規の obsdropout 正則化技術を導入することで、自明な補完を回避し、実世界のデータセットにおいて補完精度と分類のロバスト性の両面で最先端の性能を達成した。

ABSTRACT

Multivariate time series data for real-world applications typically contain a significant amount of missing values. The dominant approach for classification with such missing values is to impute them heuristically with specific values (zero, mean, values of adjacent time-steps) or learnable parameters. However, these simple strategies do not take the data generative process into account, and more importantly, do not effectively capture the uncertainty in prediction due to the multiple possibilities for the missing values. In this paper, we propose a novel probabilistic framework for classification with multivariate time series data with missing values. Our model consists of two parts; a deep generative model for missing value imputation and a classifier. Extending the existing deep generative models to better capture structures of time-series data, our deep generative model part is trained to impute the missing values in multiple plausible ways, effectively modeling the uncertainty of the imputation. The classifier part takes the time series data along with the imputed missing values and classifies signals, and is trained to capture the predictive uncertainty due to the multiple possibilities of imputations. Importantly, we show that naïvely combining the generative model and the classifier could result in trivial solutions where the generative model does not produce meaningful imputations. To resolve this, we present a novel regularization technique that can promote the model to produce useful imputation values that help classification. Through extensive experiments on real-world time series data with missing values, we demonstrate the effectiveness of our method.

研究の動機と目的

• 多次元時系列における欠損データの補完と分類を統合的にモデル化する確率的フレームワークの不足に対処すること。
• 欠損値における生成プロセスと不確実性を無視するヒューリスティックな補完手法の限界を克服すること。
• MNAR仮定の下で意味のある多様な補完を生成しつつ、不確実性を考慮した分類を可能にするモデルの開発。
• エンドツーエンド学習において生成モデルが任意の補完を生成するという自明な解の問題を解決すること。
• obsdropout を用いた明示的な正則化により、分類性能と不確実性のキャリブレーションを向上させること。

提案手法

• MNAR仮定の下で学習された深層生成モデルが、多次元時系列の欠損値に対して複数の妥当な補完を生成する。
• 分類器は複数の補完サンプルからの予測を統合して学習され、補完のばらつきに起因する不確実性を捉える。
• 観測値をランダムにマスクすることで、生成モデルが有用な補完を生成するよう強制する、新規の obsdropout 正則化技術を導入。
• 時系列の時間的依存性および構造的パターンを効果的に捉えるために、Transformerベースのエンコーダーとデコーダーを用いる。
• 分類ラベルの教師信号を用いて、生成モデルと分類器を同時に最適化し、補完と分類の整合性を保証。
• MNAR仮定により、欠損の有無が観測値および未観測値に依存することを明示的にモデル化可能。

Figure 1 : An overview of our model with obsdropout.

実験結果

リサーチクエスチョン

• RQ1 時系列補完と分類の統合的確率的フレームワークは、分類精度と不確実性キャリブレーションの観点で、ヒューリスティックな補完手法を上回ることができるか？
• RQ2 真の値が入手不可能な状況において、深層生成モデルが意味のある補完をどのように学習できるか？
• RQ3 エンドツーエンド学習において、生成モデルが自明または任意の補完を生成するのを効果的に防ぐ正則化戦略は何か？
• RQ4 複数の補完からの不確実性を組み込むことで、実世界の多次元時系列データにおける分類のロバスト性はどの程度向上するか？
• RQ5 提案された obsdropout 正則化は、標準的な学習に比べて、現実的かつ判別力のある補完をどの程度効果的に生成するか？

主な発見

• PhysioNet 2012 データセットでは、MAE（0.367）と MRE（0.526）が最低となり、SAITS（0.653 MAE、0.942 MRE）と GP-VAE（0.439 MAE、0.630 MRE）を上回った。
• MIMIC-III では、MAE 0.149、MRE 0.451 を達成し、フォワード補完（0.151 MAE、0.459 MRE）および他のベースラインを上回った。
• アブレーションスタディにより、obsdropout と MNAR 仮定が補完品質を顕著に向上させることを確認した。アブレーション設定では MAE と MRE が低かった。
• Transformer ベースのエンコーダーとデコーダーを用いたモデルは、欠損データ領域において滑らかで現実的である補完軌道を生成した。
• 複数の補完を用いて学習された分類器は、単一補完を用いるモデルと比較して、より高いロバスト性と不確実性キャリブレーションを示した。
• 補完に明示的な教師信号がなくても、MAE：0.376、MRE：0.541（PhysioNet）という競争力のある性能を達成しており、obsdropout 正則化の有効性を示している。

Figure 2 : Plots of ${\boldsymbol{\mu}}_{\text{dec}}(\boldsymbol{z}_{1:t}),{\boldsymbol{\sigma}}^{2}_{\text{dec}}(\boldsymbol{z}_{1:t})$ . ( Left ) Our model with MLP encoder and MLP decoder. ( Right ) Our model trained with obsdropout with a rate of 0.4. Since MLP architecture does not take the tem