[論文レビュー] Uncertainty on Asynchronous Time Event Prediction

Marin Biloš, Bertrand Charpentier+1 more|arXiv (Cornell University)|Jan 1, 2019

Time Series Analysis and Forecasting被引用数 11

ひとこと要約

本論文では、論理正規分布およびディリクレ分布を用いて非同期イベント系列予測における時間的変化する不確実性をモデル化する、WGP-LNおよびFD-Dirという2つの新しい深層学習アーキテクチャを提案する。RNNとガウス過程または関数分解を組み合わせることで、予測分布の豊かな時間的ダイナミクスを捉え、複数のデータセットにおいて分類予測、時刻予測、異常検出の性能を顕著に向上させる。

ABSTRACT

Asynchronous event sequences are the basis of many applications throughout different industries. In this work, we tackle the task of predicting the next event (given a history), and how this prediction changes with the passage of time. Since at some time points (e.g. predictions far into the future) we might not be able to predict anything with confidence, capturing uncertainty in the predictions is crucial. We present two new architectures, WGP-LN and FD-Dir, modelling the evolution of the distribution on the probability simplex with time-dependent logistic normal and Dirichlet distributions. In both cases, the combination of RNNs with either Gaussian process or function decomposition allows to express rich temporal evolution of the distribution parameters, and naturally captures uncertainty. Experiments on class prediction, time prediction and anomaly detection demonstrate the high performances of our models on various datasets compared to other approaches.

研究の動機と目的

• 非同期シーケンスにおける将来のイベントを予測する際の不確実性を、特に長期予測においても定量的に評価することに挑戦する。
• 予測分布の時間的進化を、自信の低下や不確実性を自然に捉える形でモデル化すること。
• 予測分布の不確実性を明示的にモデル化することで、イベント分類予測、時刻予測、異常検出の性能を向上させること。
• RNNと関数分解を用いた順序モデル化と、確率的時間依存分布（論理正規分布およびディリクレ分布）を統合するアーキテクチャの開発。

提案手法

• WGP-LNを提案。RNNとガウス過程を組み合わせることで、確率単体上での論理正規分布のパラメータを滑らかに時間的に進化させる。
• FD-Dirを導入。関数分解を用いて時間的変化するディリクレ分布のパラメータをモデル化し、柔軟かつ解釈可能な時間的ダイナミクスを実現。
• RNNを用いてイベント履歴を符号化し、将来の予測のための時間依存分布パラメータを生成。
• 確率単体を用いてイベントクラス確率を表現することで、時間経過に伴う有効な確率分布を保証。
• WGP-LNではガウス過程を用いて分布パラメータの進化における不確実性をモデル化し、不確実性を考慮した予測を可能にする。
• FD-Dirでは関数分解を適用し、分布パラメータの非線形的時間的パターンをモデル化することで表現力を向上。

実験結果

リサーチクエスチョン

• RQ1 非同期イベント系列予測における不確実性を、長期予測においても効果的に時間的にモデル化する方法は何か？
• RQ2 論理正規分布およびディリクレ分布という確率的時間依存分布を組み込んだRNNベースのアーキテクチャは、予測精度と不確実性のキャリブレーションを向上させられるか？
• RQ3 WGP-LNおよびFD-Dirは、分類予測、時刻予測、異常検出の各タスクにおいて、既存のモデルと比較してどのように優れているか？
• RQ4 提案されたモデルは、予測範囲が拡大するに従い自然に自信が低下する傾向をどの程度正確に捉えているか？

主な発見

• 提案されたモデル、WGP-LNおよびFD-Dirは、複数の実世界データセットにおいて、イベント分類予測で最先端の性能を達成した。
• 両モデルとも、特に長期予測において自信の低下が自然に現れる状況で、不確実性のキャリブレーションが向上した。
• 時間予測タスクにおいても、既存のアプローチを上回る性能を示し、イベント系列における時間的ダイナミクスのモデリングが優れていることを示した。
• 異常検出においては、予測分布の不確実性推定を活用することで、レアまたは予期しないイベントを効果的に同定できた。
• RNNとガウス過程（WGP-LN）および関数分解（FD-Dir）の統合により、時間的に表現力があり滑らかな分布パラメータの進化が実現された。
• 実験的結果から、モデルは不確実性を明示的にモデル化しつつも、高い予測性能を維持しており、これは実世界の応用において極めて重要であることが示された。