[論文レビュー] Joint Modeling of Event Sequence and Time Series with Attentional Twin Recurrent Neural Networks

Shuai Xiao, Junchi Yan+4 more|arXiv (Cornell University)|Mar 24, 2017

Functional Brain Connectivity Studies参考文献 43被引用数 27

ひとこと要約

本稿では、注意メカニズムを統合した解釈可能性のある注意型二重RNNモデル、ATRPPを提案する。このモデルは、非同期的なイベント系列と時系列データを、二つの再帰的ネットワーク（一つは非同期イベント用、もう一つは時系列データ用）を協調的に使用することで、将来のイベントタイプとタイムスタンプを同時に予測する。モデルは合成データおよび医療やシステム監視を含む実世界のデータセットで最先端の性能を達成し、注意メカニズムによる解釈可能性の向上を実現した。

ABSTRACT

A variety of real-world processes (over networks) produce sequences of data whose complex temporal dynamics need to be studied. More especially, the event timestamps can carry important information about the underlying network dynamics, which otherwise are not available from the time-series evenly sampled from continuous signals. Moreover, in most complex processes, event sequences and evenly-sampled times series data can interact with each other, which renders joint modeling of those two sources of data necessary. To tackle the above problems, in this paper, we utilize the rich framework of (temporal) point processes to model event data and timely update its intensity function by the synergic twin Recurrent Neural Networks (RNNs). In the proposed architecture, the intensity function is synergistically modulated by one RNN with asynchronous events as input and another RNN with time series as input. Furthermore, to enhance the interpretability of the model, the attention mechanism for the neural point process is introduced. The whole model with event type and timestamp prediction output layers can be trained end-to-end and allows a black-box treatment for modeling the intensity. We substantiate the superiority of our model in synthetic data and three real-world benchmark datasets.

研究の動機と目的

• 非同期的なイベント系列と等間隔にサンプリングされた時系列データの共同モデリングに関するギャップを解消すること。これらは実世界のシステムでしばしば共存するが、通常は別々にモデル化されている。
• ハーケス過程における自己励起性などの強い仮定に依存するパrametricな点過程モデルの限界を克服すること。これらのモデルは複雑なダイナミクスを捉える柔軟性に欠ける。
• 事前の構造的仮定なしに動的強度関数を学習できる、エンド・トゥ・エンドで訓練可能な非パラメトリックなモデルの開発。
• 予測プロセスにおける顕著な過去のイベントおよび時系列特徴を強調する注意メカニズムを統合することで、モデルの解釈可能性を向上させること。

提案手法

• モデルは二つの並列な長短期記憶（LSTM）ネットワークを用いる。一つはイベント系列（イベントタイプとタイムスタンプ）を処理し、もう一つは時系列データを処理する。
• 時系列点過程の強度関数は、両方のRNNからの統合隠れ状態の非線形かつ学習可能な関数としてモデル化され、動的で文脈依存の強度予測を可能にする。
• イベント系列RNNに注意メカニズムを適用し、次のイベントを予測するために最も関連性の高い過去のイベントを特定・重み付けすることで、解釈可能性を向上させる。
• モデルは二つの出力ヘッドを備えたエンド・トゥ・エンドで訓練される：一つは次のイベントタイプの予測、もう一つは次のイベントタイムスタンプの予測。
• 強度関数は、時間方向の誤差逆伝播（backpropagation through time）を通じて暗黙的に学習され、明示的なパラメトリックな形の仮定を回避する。
• モデルは合成データおよび三つの実世界データセット（MIMIC-III（電子的健康記録）、IBM ATR（システム障害ログ）、MemeTracker（ソーシャルメディアイベント））で評価された。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、非同期イベント系列と時系列データを共同でモデリングすることで、別々にモデル化するアプローチに比べて予測精度を向上させることができるか？
• RQ2 注意機構を備えた二重RNNアーキテクチャは、イベント系列とバックグラウンド時系列の間の複雑で動的な相互作用をどの程度効果的に捉えることができるか？
• RQ3 注意メカニズムは、予測プロセスにおける顕著なイベントおよび時系列特徴を強調することで、解釈性をどの程度向上させるか？
• RQ4 提案されたモデルは、イベントタイプおよびタイムスタンプ予測の両タスクにおいて、従来のパラメトリックおよび準パラメトリックな点過程モデルを上回る性能を示すか？
• RQ5 モデルは、実世界の臨床およびシステム監視データから、意味のある潜在的ネットワーク構造（例：疾患進行経路）を解明できるか？

主な発見

• ATRPPは、MIMIC-III、IBM ATR、MemeTrackerの各データセットにおいて、イベントタイプおよびタイムスタンプ予測の両方ですべてのベースラインモデルを上回った。
• MIMIC-IIIデータセットでは、ATRPPはイベントタイプ予測で最高のF1スコアと、タイムスタンプ予測で最小の平均絶対誤差（MAE）を達成し、RMTPPおよびハーケス過程ベースラインを顕著に上回った。
• 注意メカニズムは、臨床的に意味のあるパターンを的確に特定した。例えば、アルコール関連疾患は、尿路カテーテル反応や消化管出血のリスク上昇と関連していた。
• モデルは疾患進行経路を明らかにした。例えば、気管支症候群から、頻脈性心室性頻拍および急性腸管虚血に至る経路が、臨床的に妥当な順序として示された。
• 注意誘発ネットワークに基づくコミュニティ検出では、凝集的で一貫性のあるクラスタが得られ、モデルがデータ内の潜在的関係構造を捉えていることを示した。
• 患者の来院データが疎であっても、ATRPPは高次のマルコフ連鎖を上回る性能を示し、データスパarsityに対して高いロバストネスを示した。