[論文レビュー] Modeling the intensity function of point process via recurrent neural networkss

Shuai Xiao, Junchi Yan+3 more|arXiv (Cornell University)|Feb 4, 2017

Machine Learning in Materials Science参考文献 39被引用数 50

ひとこと要約

本稿では、時刻インデックスRNNで背景強度を別々に符号化し、イベントインデックスRNNで履歴依存効果を符号化することで、点過程の強度関数をモデル化するハイブリッドRNNアーキテクチャを提案する。これにより、正確なタイムスタンプおよびイベントタイプ予測のためのエンド・ツー・エンド学習が可能となる。この手法は、実世界のATM保守ログデータセットにおいて、従来のパラメトリック点過程モデルを上回る性能を発揮する。

ABSTRACT

Event sequence, asynchronously generated with random timestamp, is ubiquitous among applications. The precise and arbitrary timestamp can carry important clues about the underlying dynamics, and has lent the event data fundamentally different from the time-series whereby series is indexed with fixed and equal time interval. One expressive mathematical tool for modeling event is point process. The intensity functions of many point processes involve two components: the background and the effect by the history. Due to its inherent spontaneousness, the background can be treated as a time series while the other need to handle the history events. In this paper, we model the background by a Recurrent Neural Network (RNN) with its units aligned with time series indexes while the history effect is modeled by another RNN whose units are aligned with asynchronous events to capture the long-range dynamics. The whole model with event type and timestamp prediction output layers can be trained end-to-end. Our approach takes an RNN perspective to point process, and models its background and history effect. For utility, our method allows a black-box treatment for modeling the intensity which is often a pre-defined parametric form in point processes. Meanwhile end-to-end training opens the venue for reusing existing rich techniques in deep network for point process modeling. We apply our model to the predictive maintenance problem using a log dataset by more than 1000 ATMs from a global bank headquartered in North America.

研究の動機と目的

• 点過程における任意のタイムスタンプを持つ複雑で非同期的なイベント系列のモデリングの課題に対処すること。
• 点過程モデリングにおいて、背景強度（自発的イベント）と履歴依存効果（反応的イベント）を分離すること。
• 事前に指定されたパラメトリック形式に依存せずに、強度関数のエンド・ツー・エンド学習を可能にすること。
• 深層学習技術を活用して、イベントデータにおける長距離時系列依存性をモデル化すること。
• 大規模なATMログデータセットを用いた実世界の予測保守タスクにおいて、手法を評価すること。

提案手法

• 背景強度は、時刻インデックスRNNを用いてモデリングされ、これは標準的な時系列として扱われる。
• 履歴効果は、イベントインデックスRNNを用いてモデリングされ、ユニットが実際のイベントタイムスタンプと一致することで、非同期的ダイナミクスを捉える。
• 2つのRNNを統合して、自発的および反応的成分を統合した統一された強度関数を形成する。
• モデルは、エンド・ツー・エンドで訓練される専用の出力層を介して、イベントタイプとタイムスタンプの両方を予測する。
• アーキテクチャはブラックボックスによる強度モデリングを可能にし、事前に定義されたパラメトリック形式の必要性を排除する。
• エンド・ツー・エンド学習により、確立された深層学習の最適化および正則化技術の利用が可能になる。

実験結果

リサーチクエスチョン

• RQ1 二重RNNアーキテクチャは、点過程強度の背景成分および履歴依存成分を効果的にモデル化できるか？
• RQ2 ニューラル強度関数のエンド・ツー・エンド学習は、従来のパラメトリックモデルと比較して予測性能を向上させるか？
• RQ3 手作業で設計された強度関数に依存せずに、非同期イベント系列における長距離時系列依存性をモデルが捉えることができるか？
• RQ4 複雑なイベントパターンを有する実世界の予測保守タスクにおいて、モデルはどれほど一般化性能を示すか？
• RQ5 時刻インデックスRNNとイベントインデックスRNNを分離することで、モデリングの正確性はどの程度向上するか？

主な発見

• 提案手法は、従来のパラメトリック点過程モデルと比較して、イベントタイプおよびタイムスタンプ予測において優れた予測性能を達成した。
• 二重RNNアーキテクチャは、イベント系列における自発的背景活動と反応的履歴効果の両方を効果的に捉えた。
• エンド・ツー・エンド学習により、明示的なパラメトリック仮定を必要とせず、複雑な強度パターンを学習できるようになった。
• 1000台を超えるATMからの実世界のログデータセットにおいて、強力な一般化性能を示した。これは、予測保守分野における実用的価値を示している。
• 時刻インデックスRNNとイベントインデックスRNNの分離により、非同期イベントダイナミクスのより表現力豊かなモデリングが可能になった。
• ブラックボックスによる強度関数モデリングが可能となり、深層学習によるより洗練された表現の可能性が開かれた。