[論文レビュー] An Empirical Study: Extensive Deep Temporal Point Process

Haitao Lin, Cheng Tan+4 more|arXiv (Cornell University)|Oct 19, 2021

Complex Network Analysis Techniques参考文献 59被引用数 4

ひとこと要約

本稿では、深層時系列点過程（EDTPP）フレームワークを提案し、深層時系列点過程の主要な構成要素である履歴符号化、強度関数の定式化、Granger因果関係の同定を体系的かつ拡張的に評価する。統一的な学習戦略を用いたモデルの再モジュラー化と、潜在的因果構造を同定するための変分グラフ学習フレームワークを導入することで、実世界のデータセットにおいて予測性能の向上と解釈可能性の向上を達成した。

ABSTRACT

Temporal point process as the stochastic process on continuous domain of time is commonly used to model the asynchronous event sequence featuring with occurrence timestamps. Thanks to the strong expressivity of deep neural networks, they are emerging as a promising choice for capturing the patterns in asynchronous sequences, in the context of temporal point process. In this paper, we first review recent research emphasis and difficulties in modeling asynchronous event sequences with deep temporal point process, which can be concluded into four fields: encoding of history sequence, formulation of conditional intensity function, relational discovery of events and learning approaches for optimization. We introduce most of recently proposed models by dismantling them into the four parts, and conduct experiments by remodularizing the first three parts with the same learning strategy for a fair empirical evaluation. Besides, we extend the history encoders and conditional intensity function family, and propose a Granger causality discovery framework for exploiting the relations among multi-types of events. Because the Granger causality can be represented by the Granger causality graph, discrete graph structure learning in the framework of Variational Inference is employed to reveal latent structures of the graph. Further experiments show that the proposed framework with latent graph discovery can both capture the relations and achieve an improved fitting and predicting performance.

研究の動機と目的

• 深層時系列点過程における性能向上をもたらす最も重要な構成要素を特定すること。
• 多様なイベントタイプ間の関係性を同定可能にすることで、深層時系列点過程における解釈可能性の欠如を是正すること。
• 統一的な最適化戦略の下で、符号化と強度関数の構成要素を分離・再組み合わせることで、公平な実証的評価フレームワークを提案すること。
• イベント系列におけるGranger因果関係を同定するための変分推論ベースのグラフ構造学習法を開発すること。
• 現在のデータセットと実験手法における限界を指摘し、データ品質の向上と標準化された評価プロトコルの導入を要請すること。

提案手法

• 既存の深層時系列点過程モデルを4つのコア構成要素に分解する：履歴符号化、強度関数の定式化、関係性同定、最適化。
• 系列表現の向上を目的に、修正版FNetアーキテクチャを用いて履歴エンコーダーを拡張する。
• より柔軟な条件付き強度関数モデリングを可能にする、半無限区間上にサポートを持つ混合分布族を導入する。
• 離散的グラフ構造学習のための変分推論フレームワークを提案し、イベントタイプ間の潜在的Granger因果グラフを同定する。
• すべての実験において統一的な訓練戦略を採用することで、エンコーダーと強度関数の異なる組み合わせ間での公平な比較を保証する。
• 実世界のデータセット（例：MOOC、Stack Overflow）にフレームワークを適用し、予測性能と因果構造同定の両方を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層時系列点過程において、モデル性能に最も顕著な影響を与えるのは、履歴符号化か強度関数の定式化のどちらか？
• RQ2 統一的モジュラー化フレームワークにより、既存の深層時系列点過程モデルに対する公平かつ体系的な評価が可能になるか？
• RQ3 変分グラフ構造学習は、多様なイベント系列において意味のあるGranger因果関係をどの程度効果的に同定できるか？
• RQ4 現在の実験設定とデータ品質は、時系列点過程研究におけるモデル評価の信頼性にどのような影響を及えるか？
• RQ5 解釈可能性、一般化性能、計算効率の観点から、現在の深層時系列点過程モデルに顕在する主な限界は何か？

主な発見

• 複数のデータセットにわたるアブレーションスタディにより、強度関数の定式化よりも履歴エンコーダーがモデル性能により顕著な影響を与えることが示された。
• 提案された変分Granger因果関係同定フレームワークは、イベント系列における潜在的因果構造を効果的に同定し、解釈可能性と予測精度の両方を向上させた。
• 実験では、MOOCのような実世界のデータセットにおいて、最初のイベントのタイムスタンプに顕著なばらつきが観察され、i.i.d.仮定の妥当性に疑問を呈し、データ品質とモデル一般化性能に関する懸念を呈した。
• フレームワークは実世界のデータセットにおいて競争力のある性能を示した一方で、イベント間の意味のある因果関係の同定も可能であった。
• 研究では、実験設定の不一致と十分なアブレーションスタディの欠如といった、現在の評価慣行における深刻なギャップを特定し、標準化されたベンチマークの導入を要請した。
• モデルの深さと系列長が増加するに従い、計算複雑性が著しく増加することが判明し、今後のモデル設計において複雑性解析の重要性が浮き彫りになった。