[論文レビュー] Modeling Temporal Data as Continuous Functions with Stochastic Process Diffusion

Marin Biloš, Kashif Rasul+3 more|arXiv (Cornell University)|Nov 4, 2022

Neural Networks and Applications被引用数 7

ひとこと要約

本論文は、確率過程を用いて関数空間におけるノイズの付加と除去をモデル化することで、時系列データを連続関数として扱うノイズ除去拡散モデルを提案する。この手法により、不規則にサンプリングされた時系列データに対する確率的予測、欠損値補完、ニューラルプロセスモデリングが可能となり、合成データおよび実世界のデータセットにおいてベースラインを上回る性能を示し、不確実性のキャリブレーションと滑らかさの両面で向上が見られた。

ABSTRACT

Temporal data such as time series can be viewed as discretized measurements of the underlying function. To build a generative model for such data we have to model the stochastic process that governs it. We propose a solution by defining the denoising diffusion model in the function space which also allows us to naturally handle irregularly-sampled observations. The forward process gradually adds noise to functions, preserving their continuity, while the learned reverse process removes the noise and returns functions as new samples. To this end, we define suitable noise sources and introduce novel denoising and score-matching models. We show how our method can be used for multivariate probabilistic forecasting and imputation, and how our model can be interpreted as a neural process.

研究の動機と目的

• 不規則にサンプリングされた時系列データを離散的な点ではなく、連続関数としてモデル化すること。
• ノイズの付加とノイズ除去の過程で関数の連続性を保つ生成モデルを開発すること。
• 関数空間における拡散を用いて、多次元の確率的予測と欠損データ補完を実現すること。
• モデルを条件付き関数生成のためのニューラルプロセスとして解釈すること。
• 従来の手法と比較して、時系列モデリングにおける不確実性推定と滑らかさの両面で向上を図ること。

提案手法

• 前向きプロセスは、ガウス分布やオーナイズ・ウーレンバック過程などの確率過程を用いて、関数全体にノイズを付加し、連続性を保持する。
• 逆向きプロセスは、スコアマッチングの目的関数を用いて、純粋なノイズからデータ分布に従う関数へとノイズ除去を学習する。
• ノイズは時刻に依存する確率過程を介して付加され、最終的なノイズ付き関数は既知の確率過程に従う。
• モデルは、各ステップでのノイズ予測を、時刻とコンテキストポイントに条件付けたノイズ除去U-Netアーキテクチャを用いる。
• 学習目的関数は、関数空間における拡散に適応された尤度の変分下界から導出される。
• サンプリングは、事前確率過程からのサンプルを初期値とし、学習済み逆向きプロセスを繰り返し用いてノイズ除去を実行することで行う。

実験結果

リサーチクエスチョン

• RQ1 関数空間に適切に定義された拡散モデルは、適切な不確実性評価を伴う連続時系列生成に有効に機能するか？
• RQ2 確率過程をノイズ源として用いることで、ノイズ付加プロセス中に関数の連続性をどのように維持できるか？
• RQ3 提案手法は、不規則にサンプリングされた時系列データにおける確率的予測と補完において、既存手法を上回る性能を示せるか？
• RQ4 基礎となる確率過程におけるカーネルの選択が、モデルの性能にどのように影響するか？
• RQ5 モデルはニューラルプロセスとして解釈可能であり、観測済みコンテキストポイントから条件付き関数生成が可能か？

主な発見

• 合成GPデータでは、定量的損失が0.737に達し、真のGPベースライン（0.845）を上回り、不確実性の正確な捉え込みを示した。
• PhysioNetデータセットでは、欠損率10％の条件下で、補完のRMSEが平均4.2％低減（0.498 vs. 0.520）され、統計的に有意であった。
• RBFカーネルやOUカーネルを用いる際、真のプロセスを反映した滑らかで現実的な関数サンプルが生成された。
• 外挿予測に対しても一般化性能が高く、活性化関数が飽和しても、平均と分散の挙動がGPと一致した。
• アテンション付きニューラルプロセスより不確実性推定が正確であり、正しく不確実性のパターンを捉えていなかった。
• カーネルの滑らかさに関わらず、モデルは正しい周辺分布を維持するが、ノイズ過程のパラメータがサンプルの滑らかさを制御する。