[論文レビュー] CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation

Yusuke Tashiro, Jiaming Song+2 more|arXiv (Cornell University)|Jul 7, 2021

Mental Health Research Topics被引用数 172

ひとこと要約

CSDI は、確率的時系列補完のための条件付きスコアベース拡散手法を導入し、自己監視学習と注意機構を活用して観測値を利用することで、既存手法を上回る。

ABSTRACT

The imputation of missing values in time series has many applications in healthcare and finance. While autoregressive models are natural candidates for time series imputation, score-based diffusion models have recently outperformed existing counterparts including autoregressive models in many tasks such as image generation and audio synthesis, and would be promising for time series imputation. In this paper, we propose Conditional Score-based Diffusion models for Imputation (CSDI), a novel time series imputation method that utilizes score-based diffusion models conditioned on observed data. Unlike existing score-based approaches, the conditional diffusion model is explicitly trained for imputation and can exploit correlations between observed values. On healthcare and environmental data, CSDI improves by 40-65% over existing probabilistic imputation methods on popular performance metrics. In addition, deterministic imputation by CSDI reduces the error by 5-20% compared to the state-of-the-art deterministic imputation methods. Furthermore, CSDI can also be applied to time series interpolation and probabilistic forecasting, and is competitive with existing baselines. The code is available at https://github.com/ermongroup/CSDI.

研究の動機と目的

• 医療・環境・金融分野における欠損値を含む多変量時系列データの堅牢な補完を動機づける。
• 補完の条件分布を近似するのではなく、学習する条件付き拡散モデルを開発する。
• 条件付けとアテンション機構を通じて観測データを活用し、時系列の時間的依存性と特徴依存性を捉える。
• 基準値となる欠損値の真値がない状態で学習を可能にする自己監督型トレーニングフレームワークを提供する。
• 補完・補間・確率的予測への適用性を示し、ベースラインを上回る。

提案手法

• 条件付きデノイジング拡散確率モデル (DDPM) を採用して、条件付きデノイジング関数 epsilon_theta を用いて明示的に p(x_t-1^ta | x_t^ta, x_0^co) をモデル化する。
• 逆過程を mu_theta と sigma_theta でパラメータ化し、mu_theta は x_t^ta と条件付き観測 x_0^co を用いる条件付き DDPM デノイザーから構築される。
• 訓練時に観測値を補完ターゲットと条件付き観測に分割することで、マスクされた言語モデルに触発された自己監督型の訓練スキームを組み込む。
• 時系列データ内の時間的依存性と特徴依存性を捉えるため、二次元アテンション方式（時間的 Transformer と特徴 Transformer）を用いる。
• 時間埋め込みやカテゴリカル特徴埋め込みを含むサイド情報を提供し、時間的・特徴的文脈を強化する。
• 入力スペースを固定するためのゼロパディングを許可し、観測インデックスを示す条件付きマスクを導入して、モデルの固定形状条件付けを実現する。）

実験結果

リサーチクエスチョン

• RQ1 条件付き拡散モデルは、多変量時系列で欠損値を補完するための正確な条件付き分布を学習できるか？
• RQ2 観測値で条件付けを行い自己監督型訓練を採用することは、無条件拡散モデルや自己回帰ベースラインよりも確率的および決定的な補完を改善しますか？
• RQ3 CSDI は医療および環境データセットにおいて、確率的補完・決定的補完・補間・予測の点で、最先端手法と比べてどう評価されますか？
• RQ4 補完品質と効率に最も影響を与えるアーキテクチャの選択肢（アテンション機構・サイド情報・ターゲット戦略）はどれですか？

主な発見

• CSDI は確率的補完で著しい改善を達成し、医療および大気品質データセットで CRPS をベースラインより 40-65% 減少させる。
• CSDI による決定的補完は、最先端の決定的手法と比較して MAE を 5-20% 減少させる。
• CSDI は時系列の補間および確率的予測に有効で、しばしば特化系ベースラインと競合するか、優れている。
• ターゲット選択戦略を活用した自己監督型学習により、真の欠損値がなくても学習を可能にし、堅牢な条件付きモデリングを実現する。
• 明示的な条件付き拡散フレームワークは、補完タスクにおいて無条件拡散アプローチより観測データをより有効に活用できる。