[論文レビュー] Modeling The Intensity Function Of Point Process Via Recurrent Neural Networks

Shuai Xiao, Junchi Yan+3 more|arXiv (Cornell University)|May 24, 2017

Machine Learning in Materials Science被引用数 33

ひとこと要約

本稿では、固定時間間隔に整合するRNNで背景ダイナミクスを捉え、非同期的なイベントに整合するもう一つのRNNで履歴効果をモデル化する、二種類の異なるRNNを用いたエンド・ツー・エンドの深層学習フレームワークを提案する。この手法は、実世界のATMログデータにおけるイベントタイプおよびタイムスタンプ予測において、ハーケス過程やRMTPPといったパラメトリックモデルを上回り、特に複雑で非線形な状況下でも最先端の性能を達成する。

ABSTRACT

Event sequence, asynchronously generated with random timestamp, is ubiquitous among applications. The precise and arbitrary timestamp can carry important clues about the underlying dynamics, and has lent the event data fundamentally different from the time-series whereby series is indexed with fixed and equal time interval. One expressive mathematical tool for modeling event is point process. The intensity functions of many point processes involve two components: the background and the effect by the history. Due to its inherent spontaneousness, the background can be treated as a time series while the other need to handle the history events. In this paper, we model the background by a Recurrent Neural Network (RNN) with its units aligned with time series indexes while the history effect is modeled by another RNN whose units are aligned with asynchronous events to capture the long-range dynamics. The whole model with event type and timestamp prediction output layers can be trained end-to-end. Our approach takes an RNN perspective to point process, and models its background and history effect. For utility, our method allows a black-box treatment for modeling the intensity which is often a pre-defined parametric form in point processes. Meanwhile end-to-end training opens the venue for reusing existing rich techniques in deep network for point process modeling. We apply our model to the predictive maintenance problem using a log dataset by more than 1000 ATMs from a global bank headquartered in North America.

研究の動機と目的

• 複雑な現実世界のダイナミクスを捉えられない可能性がある、制限的な事前定義された強度関数に依存するパラメトリック点過程モデルの限界を解消すること。
• 事前にその構造についての仮定を設けずに、データから直接強度関数を学習する柔軟で非パラメトリックなフレームワークを構築すること。
• 時系列特徴（背景）とイベント履歴依存性（自己励起）を、RNNを用いて統合的かつエンド・ツー・エンドで学習可能なモデルに統合すること。
• ブラックボックスとしての強度関数モデリングを可能にし、複雑で高次元のイベントデータに深層学習技術を適用できること。
• 大規模なATMログデータを用いた実世界の予測保守タスクにおいて、本アプローチの有効性を示すこと。

提案手法

• モデルは二つの並列なRNNを採用する：一方は固定時間間隔に整合する時系列特徴を処理し、自発的な背景強度をモデル化する。
• 他方は非同期的なイベントのタイムスタンプに整合するイベント系列を処理し、履歴依存の励起効果をモデル化する。
• 両方のRNNの出力を統合して、背景トレンドとイベント誘発ダイナミクスの両方を捉える複合強度関数を形成する。
• イベントタイプとタイムスタンプの両方の予測ヘッドを備えた、バックプロパゲーションを用いたエンド・ツー・エンドの訓練を実施する。
• 手動で設計されたパラメトリックな形を避けることで、柔軟で非パラメトリックな強度関数モデリングを可能にする。
• 階層的および平坦なイベントタイプ予測構造の両方をサポートし、多段階分類タスクにおいても高い性能を発揮できる。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックな強度関数に依存せず、背景ダイナミクスと履歴依存効果の両方を効果的に捉えることができる深層学習モデルは、点過程モデリングにおいて有効であるか？
• RQ2 ハーケス過程やRMTPPといった従来のパラメトリックモデルと比較して、二重RNNアーキテクチャはイベントタイプおよびタイムスタンプ予測においてどのように性能を発揮するか？
• RQ3 固定または手作業で設計された強度関数を持つモデルと比較して、エンド・ツー・エンド訓練は、複雑で現実世界のイベントデータにおいて性能をどのように向上させるか？
• RQ4 時間の点に整合するRNNとイベントに整合するRNNを別々に用いて背景と履歴効果をモデル化することで、より優れた表現学習と予測精度が得られるか？
• RQ5 提案されたフレームワークは、多様なイベントタイプに一般化可能であり、分野特有の仮定なしに高い性能を維持できるか？

主な発見

• 時系列とイベント系列の両方のRNNを統合した強度RNNモデルは、テストセットにおいてF1スコア0.825、MAE 4.13日を達成し、イベントタイプ予測で最高の性能を示した。
• タイムスタンプ予測において、ハーケス過程（MAE: 5.26日）とロジスティックベースライン（MAE: 4.52日）を大きく上回り、時間的ダイナミクスのモデリングが優れていることが示された。
• イベント系列RNNは、ほとんどの指標で時系列RNNを上回り、提示されたデータセットにおいて履歴効果が正確な予測に不可欠であることが示された。
• サブタイプ予測において、強度RNNはF1スコア0.684を達成し、RMTPP（0.584）とハーケス（0.467）を大きく上回り、複雑な分類タスクにおける強みが顕著に現れた。
• メインタイプ分類では平坦なイベントタイプ予測アーキテクチャが階層的構造を上回ったが、階層的構造は多段階の監視を活用することでサブタイプ分類の性能を向上させた。
• すべての評価指標において、本モデルは最先端の結果を達成しており、エンド・ツー・エンドで暗黙的に強度関数を学習することが、実世界の点過程モデリングにおいて極めて有効であることが確認された。