[論文レビュー] Fast and Flexible Temporal Point Processes with Triangular Maps

Oleksandr Shchur, Nicholas Gao+2 more|arXiv (Cornell University)|Jun 22, 2020

Point processes and geometric inequalities参考文献 57被引用数 6

ひとこと要約

この論文は、正規化フローからの三角行列を用いて、完全に並列な尤度計算とサンプリングを可能にする非再帰的時系列ポイントプロセスであるTriTPPを紹介する。可逆的で自己回帰的な変換を用いて古典的TPPを再パrameter化することで、TriTPPはRNNレベルの柔軟性を実現しながら、サンプリング速度が桁違いに速く、連続時間マルコフジャンプ過程における効率的な変分推論を可能にする。

ABSTRACT

Temporal point process (TPP) models combined with recurrent neural networks provide a powerful framework for modeling continuous-time event data. While such models are flexible, they are inherently sequential and therefore cannot benefit from the parallelism of modern hardware. By exploiting the recent developments in the field of normalizing flows, we design TriTPP -- a new class of non-recurrent TPP models, where both sampling and likelihood computation can be done in parallel. TriTPP matches the flexibility of RNN-based methods but permits orders of magnitude faster sampling. This enables us to use the new model for variational inference in continuous-time discrete-state systems. We demonstrate the advantages of the proposed framework on synthetic and real-world datasets.

研究の動機と目的

• RNNベースの時系列ポイントプロセスの逐次的性質が並列化とサンプリング速度を制限するのを克服すること。
• RNNベースのモデルの表現力は維持しつつ、並列推論と生成を可能にする非再帰的TPPフレームワークの開発。
• 非微分可能なサンプリングベースの損失に対する緩和を導出することで、隠れ半マルコフモデルにおける微分可能な変分推論を可能にすること。
• 提案手法が合成および実世界のイベント系列モデリングタスクにおいて、RNNベースおよび古典的TPPと同等またはそれ以上の性能を示すことを実証すること。

提案手法

• この手法は、可逆的で自己回帰的な変換である三角行列を用いて時系列ポイントプロセスを再パラメータ化し、並列サンプリングと尤度評価を可能にする。
• 複数のコンポONENTを組み合わせたフローベース変換を構築する：時間歪みマップ（Λ）、ベース変換（D）、カップリングフロー（Φ₁）、バイジェクターシーケンス（B₁–B₄）、2番目のカップリングフロー（Φ₂）、および最終バイジェクタ（C）からなり、全変換F = C ∘ Φ₂ ∘ B₄ ∘ B₃ ∘ B₂ ∘ B₁ ∘ Φ₁ ∘ D ∘ Λを形成する。
• 尤度は変数変換の公式を用いて計算され、ヤコビ行列式の行列式は各コンポONENTの偏導関数の積として得られ、効率的な勾配計算を可能にする。
• 変換空間におけるベース分布として均一ポアソン過程を用い、補正関数Λ*(t)がイベント時刻を単位レートのポアソン過程にマッピングする。
• 非微分可能なサンプリングベースの損失に対する微分可能な緩和を導出し、隠れ半マルコフモデルにおける変分推論のエンドツーエンド学習を可能にする。
• このフレームワークは密度推定と変分推論の両方をサポートし、最大尤度による学習とアンモアタイズド推論による事後分布推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 RNNベースのモデルと同等の柔軟性を維持しつつ、完全に並列なサンプリングと尤度計算を可能にする非再帰的時系列ポイントプロセスを設計できるか？
• RQ2 正規化フローからの三角行列を、長さ可変で連続時間のイベント系列をモデル化するために効果的に適応できるか？
• RQ3 提案されたフレームワークは、連続時間離散状態系（例：マルコフジャンプ過程）における微分可能な変分推論をサポートできるか？
• RQ4 実世界データにおいて、TriTPPの性能はRNNベースおよび古典的TPPと比較して、尤度、サンプリング速度、分布マッチングの観点で同等かそれ以上か？

主な発見

• TriTPPは、RNNベースのモデルと比較してサンプリング速度が桁違いに速く、長大な系列の効率的生成を可能にする。
• Twitterデータセットにおいて、TriTPPは系列長分布マッチングのウォッシャーマン距離（WD）が0.17を達成し、ハーケス過程（WD = 0.50）を上回り、RNN（WD = 0.10）に近い性能を示した。
• サーバーログデータにおける変分推論では、TriTPPが高発生率・低発生率状態に系列を的確にセグメンテーションし、MCMCベースラインと同等の結果を達成した。
• 複数のランダムシードにおいて安定した収束を示し、一貫した事後分布軌道と学習損失曲線を示しており、モデルの頑健性を裏付けた。
• すべてのベンチマークデータセットにおいて、TriTPPはRNNベースのモデルと同等またはそれ以上の負の対数尤度（NLL）性能を達成しながら、並列推論を可能にした。
• サンプリングベースの損失に対する微分可能な緩和により、エンドツーエンド学習が可能となり、複雑な連続時間系へのモデル適用が現実可能になった。