[論文レビュー] Fully Neural Network based Model for General Temporal Point Processes

Takahiro Omi, Naonori Ueda+1 more|arXiv (Cornell University)|May 23, 2019

3D Shape Modeling and Analysis参考文献 20被引用数 50

ひとこと要約

この論文は、累積ハザード関数を表す完全にニューラルネットワークベースのモデルを提案し、時系列点過程を柔軟にモデル化し、正確な対数尤度評価を可能にし、合成データと実データで競争力のある予測性能を示します。

ABSTRACT

A temporal point process is a mathematical model for a time series of discrete events, which covers various applications. Recently, recurrent neural network (RNN) based models have been developed for point processes and have been found effective. RNN based models usually assume a specific functional form for the time course of the intensity function of a point process (e.g., exponentially decreasing or increasing with the time since the most recent event). However, such an assumption can restrict the expressive power of the model. We herein propose a novel RNN based model in which the time course of the intensity function is represented in a general manner. In our approach, we first model the integral of the intensity function using a feedforward neural network and then obtain the intensity function as its derivative. This approach enables us to both obtain a flexible model of the intensity function and exactly evaluate the log-likelihood function, which contains the integral of the intensity function, without any numerical approximations. Our model achieves competitive or superior performances compared to the previous state-of-the-art methods for both synthetic and real datasets.

研究の動機と目的

• 条件付き強度の時間経過を固定された関数形なしに柔軟にモデリングする動機づけ。
• 正確な対数尤度評価を可能にするニューラルネットワークベースの累積ハザード関数を提案。
• 柔軟なハザード形状化のためにRNN履歴エンコーダと累積ハザードネットワークを統合。
• 標準モデルと比較して合成・実データの時系列イベントデータセットで性能を評価。

提案手法

• Φ(τ|h_i)を正Monotonicityとpositivityを保証するようにフォワード型ニューラルネットワークでモデル化。
• Φをτで微分してハザード φ(τ|h_i)を得る。
• 対数尤度を数値積分近似を回避する形でΦを用いて表現する（log L = sum log ∂τΦ - Φ）。
• イベント履歴をRNNで隠れ状態h_iにエンコードし、経過時間τとh_iを累積ハザードネットワークに入力。
• ネットワーク重みを正に制約してΦを単調増加させ、∂Z_i(τ)/∂τを自動微分で計算。
• 長い履歴を扱うために深さdでの切り捨てを用いてバックプロパゲーション・スルー・タイムを訓練。
• Φ(τ) = log 2 の関係を用いて中間値ベースの次イベント時刻予測を効率的に提供。

実験結果

リサーチクエスチョン

• RQ1 特定の関数形を仮定せずに、累積ハザード関数の完全にニューラルネットワークベースの表現はハザードの時間推移を柔軟にモデルできるか？
• RQ2 ニューラルネットワークで累積ハザードをモデル化することで、一般的なハザードモデルの対数尤度を正確に評価できるか？
• RQ3 ニューラルネットワークベースのハザードモデルは合成・実データで定常的・指数・区分的ハザードモデルと比較してどう性能を示すか？
• RQ4 提案モデルは多様なデータ生成過程と実世界データセットで予測精度を維持できるか？

主な発見

• ニューラルネットワークベースのモデルはベースラインRNNベースのハザードモデルと比較して競争力のあるまたは優れた予測性能を達成する。
• 累積ハザード関数をモデル化することで数値積分なしに正確な対数尤度評価を実現。
• モデルはさまざまな合成過程（ポアソン、 renewal、自己励起 Hawkes 変種等）で堅牢。
• 実データセット（金融、救急電話、ミーム、音楽）でニューラルネットワークモデルは競争力のあるまたは優れたスコアを示し、特に長いイベント間隔と高いばらつきのデータで優位。
• 連続時間LSTMと比較して、提案モデルは平均パフォーマンスが高く、正確な対数尤度評価による実装の容易さという利点がある。