[論文レビュー] Diffusion-based Time Series Imputation and Forecasting with Structured State Space Models

Juan Miguel Lopez Alcaraz, Nils Strodthoff|arXiv (Cornell University)|Aug 19, 2022

Machine Learning in Healthcare被引用数 66

ひとこと要約

論文は、長距離時系列依存性を捉えるために構造化状態空間モデルを使用した拡散モデルベースの補完法SSSDを提案し、さまざまな欠損シナリオと予測タスクで最先端の結果を達成します。

ABSTRACT

The imputation of missing values represents a significant obstacle for many real-world data analysis pipelines. Here, we focus on time series data and put forward SSSD, an imputation model that relies on two emerging technologies, (conditional) diffusion models as state-of-the-art generative models and structured state space models as internal model architecture, which are particularly suited to capture long-term dependencies in time series data. We demonstrate that SSSD matches or even exceeds state-of-the-art probabilistic imputation and forecasting performance on a broad range of data sets and different missingness scenarios, including the challenging blackout-missing scenarios, where prior approaches failed to provide meaningful results.

研究の動機と目的

• 時系列データの欠損データに対処するため、条件付き拡散モデルと構造化状態空間モデルを組み合わせて長期依存性を捉える。
• 難しい欠損シナリオ（RM、RBM、BM、TF）で補完品質を向上させるためにSSSDとその派生形を導入する。
• ECG、MuJoCo、Electricity、Solarデータセットで、強力なベースラインに対して定量的・定性的な改善を示す。
• 欠損領域のみに拡散ノイズを適用することが性能に与える影響を分析する。

提案手法

• 入力と補完マスクを条件としてバックワードノイズ除去プロセスを条件付ける条件付き拡散モデリングを採用する。
• 従来の時系列ブロックをDiffWave風の拡散アーキテクチャ内のStructured State Space（S4）層に置き換える。
• 補完領域のみに拡散ノイズを使用するD1設定を用いて補完の現実味を向上させる。
• 複数のアーキテクチャ変種を比較する：SSSD-S4、SSSD-SA、CSDI-S4、DiffWaveおよびCSDIなどの拡散ベース手法。
• 観測済みの真実領域に対してMSE損失で訓練し、サンプル間で確率的補完（分位点）を評価する。

実験結果

リサーチクエスチョン

• RQ1 SSMを用いた拡散ベースの時系列補完は、既存の拡散補完法および非拡散補完機と比較して、欠損パターンの多様性に対して高精度を達成できるか。
• RQ2 補完対象領域のみに拡散ノイズを制限する（D1）は、全シーケンスへノイズを適用する（D0）場合と比べて補完品質にどのように影響するか。
• RQ3 構造化状態空間層（S4）は、補完と予測の長距離依存性モデル化を改善するか。
• RQ4 RM、RBM、BM、TFタスクにおける現実データセット（ECG、MuJoCo、Electricity、Solar）でのSSSD派生の性能はどうか。
• RQ5 補完モデルにおける双方向コンテキストは予測タスクにおいて許容されるか、それともデータリークのリスクを招くか。

主な発見

Model	MAE	RMSE
20% RM on PTB-XL LAMC	0.0678	0.1309
20% RM on PTB-XL CSDI	0.0038±2e-6	0.0189±5e-5
20% RM on PTB-XL DiffWave	0.0043±4e-4	0.0177±4e-4
20% RM on PTB-XL CSDI^{S4}	0.0031±1e-7	0.0171±6e-4
20% RM on PTB-XL SSSD^{SA}	0.0045±3e-7	0.0181±4e-6
20% RM on PTB-XL SSSD^{S4}	0.0034±4e-6	0.0119±1e-4
20% RBM on PTB-XL LAMC	0.0759	0.1498
20% RBM on PTB-XL CSDI	0.0186±1e-5	0.0435±2e-4
20% RBM on PTB-XL DiffWave	0.0250±1e-3	0.0808±5e-3
20% RBM on PTB-XL CSDI^{S4}	0.0222±2e-5	0.0573±1e-3
20% RBM on PTB-XL SSSD^{SA}	0.0170±1e-4	0.0492±1e-2
20% RBM on PTB-XL SSSD^{S4}	0.0103±3e-3	0.0226±9e-4
20% BM on PTB-XL LAMC	0.0840	0.1171
20% BM on PTB-XL CSDI	0.1054±4e-5	0.2254±7e-5
20% BM on PTB-XL DiffWave	0.0451±7e-4	0.1378±5e-3
20% BM on PTB-XL CSDI^{S4}	0.0792±2e-4	0.1879±1e-4
20% BM on PTB-XL SSSD^{SA}	0.0435±3e-3	0.1167±1e-2
20% BM on PTB-XL SSSD^{S4}	0.0324±3e-3	0.0832±8e-3

• SSSD-S4は、PTB-XL ECGデータのRM、RBM、BM欠損に対して競合する補完手法を一般的に上回り、CSDIおよびDiffWaveのベースラインよりMAE/RMSEが顕著に小さい。
• 補完領域のみに拡散ノイズを適用する（D1）は全サンプルにノイズを適用する（D0）場合より優れた結果を示す。
• SSSD-S4は特にブラックアウト欠損（blackout-missing）シナリオで大きな利得を達成し、BMでPTB-XLに対してCSDIと比較してMAEを50%以上削減。
• MuJoCoではSSSD-S4が70–90% RMのシナリオでベースラインと同等以上、特に最大欠損率90%で顕著な利得を示す。
• Electricityデータでは、SSSD-S4がRM補完を大幅に改善（例：MAEとRMSEの削減）、10–50% RMでCSDI-S4およびSAITSベースラインを上回ることが多い。
• Solar予測では、SSSD-S4が strongest baseline（TLAE）に対してMSEを27%削減し、報告指標でCSDIを上回る。