[論文レビュー] Intensity-Free Learning of Temporal Point Processes

Oleksandr Shchur, Marin Biloš+1 more|arXiv (Cornell University)|Sep 26, 2019

Markov Chains and Monte Carlo Methods参考文献 46被引用数 22

ひとこと要約

本稿では、正規化フローと単純な混合モデルを用いて、間欠的時間の条件付き分布を直接モデル化することで、強度フリーな時系列点過程の学習を提案する。この手法は、予測、系列埋め込み、欠損データ補完において最先端の性能を達成するとともに、閉形式でのサンプリングとモーメント計算を可能にする。

ABSTRACT

Temporal point processes are the dominant paradigm for modeling sequences of events happening at irregular intervals. The standard way of learning in such models is by estimating the conditional intensity function. However, parameterizing the intensity function usually incurs several trade-offs. We show how to overcome the limitations of intensity-based approaches by directly modeling the conditional distribution of inter-event times. We draw on the literature on normalizing flows to design models that are flexible and efficient. We additionally propose a simple mixture model that matches the flexibility of flow-based models, but also permits sampling and computing moments in closed form. The proposed models achieve state-of-the-art performance in standard prediction tasks and are suitable for novel applications, such as learning sequence embeddings and imputing missing data.

研究の動機と目的

• 柔軟性、尤度計算、サンプリング効率のトレードオフを伴う強度ベースのモデルの限界を解消する。
• 尤度が閉形式で得られない、または期待値やモーメントを効率的に計算できない既存手法の課題を克服する。
• 間欠的時間の条件付き分布を直接モデル化するフレームワークを構築し、柔軟で効率的かつ理論的に整合性のある学習を可能にする。
• 提案された分布モデリングアプローチを活用して、系列埋め込みや欠損データ補完といった新たな応用を実現する。

提案手法

• 条件付き強度関数 $\lambda^*(t)$ を推定するのではなく、間欠的時間の条件付き分布 $p^*(\tau)$ を直接モデル化する。
• 正規化フローを用いて、正確な尤度計算と効率的なサンプリングを可能にする柔軟で可逆な変換を構築する。
• フローと同等の柔軟性を備えるが、閉形式でのサンプリングとモーメント計算を可能にする単純な混合モデルを提案する。
• 時系列依存性をモデル化するため、学習済み分布をRNNベースの履歴エンコーダーに統合する。
• 訓練中に欠損した間欠的時間の確率的補完を処理するため、再パrameterization勾配を適用する。
• 観測された間欠的時間の対数尤度に基づき、最大尤度推定を用いてモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 間欠的時間の直接的密度推定は、強度ベースのモデリングを上回る性能を発揮できるか？
• RQ2 正規化フローと混合モデルは、時系列点過程において柔軟性と閉形式推論を両立できるか？
• RQ3 提案手法は、時系列イベント系列における有効な系列埋め込みと欠損データ補完を可能にするか？
• RQ4 FullyNN や RMTPP といった最先端の強度ベースモデルと比較して、性能に差があるか？
• RQ5 間欠的時間分布を直接モデリングすることで、尤度と予測精度が向上するか？

主な発見

• 提案された強度フリーなモデルは、標準的な時系列点過程予測ベンチマークで最先端の性能を達成し、RMTPP や FullyNN と比較してNLLおよび予測精度の両面で優れている。
• 混合モデルはフローに基づくモデルと同等の性能を発揮するが、標準的なフロー・モデルでは不可能な閉形式でのサンプリングとモーメント計算を可能にする。
• Yelpデータセットでは、テストNLLが 10.35 ± 0.106、時間精度が 7.78 ± 0.107 となり、両方の指標でベースラインモデルを上回った。
• 学習済み埋め込みからの条件付き生成が、明確な時間的パターンを反映していることから、意味のある系列埋め込みが学習されていることが示された。
• 学習済み分布を用いて妥当な間欠的時間のサンプリングが可能となり、欠損データ下でも尤度推定が向上するため、効果的な欠損データ補完が実現された。
• 再パrameterization勾配を用いたエンドツーエンド学習が可能で、不完全な系列でも微分可能な補完と安定な最適化が可能である。