[論文レビュー] The Neural Hawkes Process: A Neurally Self-Modulating Multivariate Point Process

Hongyuan Mei, Jason Eisner|arXiv (Cornell University)|Dec 29, 2016

Point processes and geometric inequalities参考文献 26被引用数 162

ひとこと要約

この論文は Neural Hawkes Process を紹介します、神経的に自己調整される多変量点過程で、イベント強度をモデル化する連続時間 LSTM を使用し、抑制と非単調ドリフトを含む複雑な過去イベントの影響を可能にし、強い予測性能を持ちます。

ABSTRACT

Many events occur in the world. Some event types are stochastically excited or inhibited---in the sense of having their probabilities elevated or decreased---by patterns in the sequence of previous events. Discovering such patterns can help us predict which type of event will happen next and when. We model streams of discrete events in continuous time, by constructing a neurally self-modulating multivariate point process in which the intensities of multiple event types evolve according to a novel continuous-time LSTM. This generative model allows past events to influence the future in complex and realistic ways, by conditioning future event intensities on the hidden state of a recurrent neural network that has consumed the stream of past events. Our model has desirable qualitative properties. It achieves competitive likelihood and predictive accuracy on real and synthetic datasets, including under missing-data conditions.

研究の動機と目的

• Hawkes過程を超える表現力豊かなイベントストリームモデルの必要性を説く。励起、抑制、非加法的効果を扱えるようにする。
• 過去のイベントが連続時間 LSTM を介して将来の強度に影響を与える、神経支配型の強度モデルを開発する。
• 実世界のイベントストリームにおける欠測データや複雑な依存関係を頑健に扱えるようにする。
• モデルを適合させ、イベント列を生成/予測するための学習と推論のフレームワークを提供する。

提案手法

• Hawkes過程を一般化し、正にも負にもなり得る自己調整強度を導入し、正性関数を経由させることによって Hawkes 過程を一般化する。
• 過去の加法的影響を置換し、イベントと時間に応じて隠れメモリセルを更新して時変強度を生み出す連続時間 LSTM を用いる。
• イベント間でメモリセルがターゲットへ減衰する連続時間 LSTM を用い、新しいイベントによって更新を引き起こす。
• 非負性を保証しつつ慣性・抑制を許す softplus ベースの正性写像を強度に適用する。
• 最大尤度法で学習し、積分項はモンテカルロ手法で扱う。任意で thinning アルゴリズムによるシミュレーションを行う。

実験結果

リサーチクエスチョン

• RQ1 神経的パラメータ化された自己調整型の多変量点過程は、イベントストリームにおける励起、抑制、および非加法的効果を捉えられるか。
• RQ2 連続時間 LSTM ベースの強度モデルは、Hawkes および分解可能な自己調整モデルと比較して予測尤度と次のイベントの予測を改善するか。
• RQ3 モデルは欠測データおよびイベント列の不完全な観測をどれだけうまく扱えるか。
• RQ4 高次元イベントタイプ（大きな K）を小さな D でモデル化する際の潜在隠れ状態の利点は何か。
• RQ5 多くのイベントタイプと変動するシーケンス長を持つ現実世界のデータセットにスケールできるか。

主な発見

• The Neural Hawkes Process (N-SM-MPP) は実データ・合成データの予測尤度で Hawkes および分解可能な自己調整モデルを上回る。
• 欠測データの扱いは Hawkes よりも優れており、検閲された系列全体で優れた予測性能を維持する。
• 連続時間 LSTM は強度の非単調かつ文脈依存のドリフトを可能にし、抑制や慣性効果を含む。
• 高い K の設定では、潜在隠れ状態アプローチが、完全にパラメータ化されたペアワイズ相互作用よりパラメータ数が少なくて一般化性能が高い。
• Retweets および MemeTrack データセットで対数尤度と予測精度の substantial な改善を示す。