[論文レビュー] Modeling Continuous Stochastic Processes with Dynamic Normalizing Flows

Ruizhi Deng, Bo Chang+3 more|arXiv (Cornell University)|Feb 24, 2020

Time Series Analysis and Forecasting参考文献 46被引用数 18

ひとこと要約

本稿では、時間に依存する可逆変換を用いてウィーナー過程を変形することで、柔軟で連続時間の確率過程を生成する、連続時間フローモデル（CTFP）を提案する。この手法により、正確な尤度推定、効率的なサンプリング、不規則な時刻グリッドにおける補間・外挿が可能となり、複雑な不規則な時系列データのモデリングにおいて、変分RNN や潜在ODE よりも優れた性能を発揮する。

ABSTRACT

Normalizing flows transform a simple base distribution into a complex target distribution and have proved to be powerful models for data generation and density estimation. In this work, we propose a novel type of normalizing flow driven by a differential deformation of the Wiener process. As a result, we obtain a rich time series model whose observable process inherits many of the appealing properties of its base process, such as efficient computation of likelihoods and marginals. Furthermore, our continuous treatment provides a natural framework for irregular time series with an independent arrival process, including straightforward interpolation. We illustrate the desirable properties of the proposed model on popular stochastic processes and demonstrate its superior flexibility to variational RNN and latent ODE baselines in a series of experiments on synthetic and real-world data.

研究の動機と目的

• 不規則な時刻グリッドをサポートする柔軟で連続的な動的挙動を有する、連続時間の生成モデルの開発。
• ウィーナー過程の計算的利点（正確な尤度、効率的なサンプリングなど）を維持しつつ、表現力を向上させる。
• 任意の時刻における補間・外挿を可能にし、離散時間モデルの限界を克服する。
• 従来の手法（変分RNN や潜在ODE など）と比較して、現実世界の不規則な時系列データのモデリングを改善する。
• 表現力を高め、データ分布への適合性を向上させるために、潜在変数を導入したフレームワークの拡張。

提案手法

• モデルは、時間に依存する可逆写像を用いて、基本的なウィーナー過程を複雑な観測可能な過程へ変換する連続時間正規化フローを用いる。
• フローの動的挙動は、連続的なサンプルパスと可逆性を保証するため、ニューラルODE によって定義される。
• 変換のヤコビアン行列式の対数は、次元に応じて正確な計算またはハッチンソン推定法を用いて、効率的に計算される。
• 表現力を高めるために、潜在変数を導入し、変分推論を用いて訓練する潜在CTFPモデルを構築する。
• 基本的なウィーナー過程の逆転可能性と解析的扱いやすさを活かし、正確な尤度評価と効率的なサンプリングを実現する。
• 観測データポイントに条件づけることで、不規則な間隔の観測を自然に扱い、補間・外挿を可能にする。

実験結果

リサーチクエスチョン

• RQ1 時間に依存する可逆写像を用いた連続時間正規化フローを構築することで、複雑な確率過程をモデリングしつつ、ウィーナー過程の計算的利点を維持できるか。
• RQ2 提案手法は、離散時間ベースラインと比較して、不規則な時刻グリッドにおける補間・外挿の性能がどの程度向上するか。
• RQ3 CTFPフレームワークに潜在変数を組み込むことで、現実世界の時系列データにおけるモデリング能力と尤度性能が顕著に向上するか。
• RQ4 尤度と生成品質の観点から、変分RNN や潜在ODE といった最先端モデルと比較して、CTFPがどの程度優れているか。
• RQ5 高次元設定において、正確なヤコビアン行列式のトレース推定と近似推定（ハッチンソン推定）を比較した場合、訓練の安定性と性能にどのような影響を与えるか。

主な発見

• 潜在CTFPモデルは、すべての実世界データセットで最小の負の対数尤度を達成し、Mujoco-Hopperでは-31.397 ± 0.063のスコアを記録し、潜在ODE や VRNN を上回った。
• 北京大気質データセットでは、潜在CTFPが-6.894 ± 0.046の負の対数尤度を達成し、次に優れたモデル（潜在ODE：-2.789）を顕著に上回った。
• PTB診断データベースでは、潜在CTFPが-1.999 ± 0.010の負の対数尤度を達成し、最良のパフォーマンスを示すモデルと同等であったが、訓練の安定性が向上した。
• CTFPモデルは正確な尤度計算と効率的なサンプリングを実現し、任意の時刻における正確な補間・外挿を可能にした。
• 正確なヤコビアン行列式トレース推定（潜在CTFP-ET）を用いることで、特に高次元設定において訓練の安定性と性能がハッチンソン推定法を上回った。
• 合成時系列および実世界の時系列データにおいて、非線形な複雑な動的挙動を、特に不規則なサンプリング状況下でも優れた柔軟性で捉えることができた。