[論文レビュー] Discrete Event, Continuous Time RNNs

Michael C. Mozer, Denis Kazakov+1 more|arXiv (Cornell University)|Oct 11, 2017

Network Security and Intrusion Detection参考文献 43被引用数 30

ひとこと要約

本稿では、時間的局所性、位置およびスケールの同一性、スケールの依存性という4つの主要なインダクティブバイアスを組み込むことで、イベント系列モデリングを目的とした新しいRNNアーキテクチャ、連続時間ゲート付き再帰ユニット（CT-GRU）を提案する。離散的な時間ステップではなく、時間の内在的減衰ダイナミクスによって時間を取り扱うことで、11種類の多様なデータセットにおいて標準GRUと同等の性能を達成し、連続時間ダイナミクスが精度を損なうことなく、効果的かつ頑健に系列モデリングに応用可能であることを示した。

ABSTRACT

We investigate recurrent neural network architectures for event-sequence processing. Event sequences, characterized by discrete observations stamped with continuous-valued times of occurrence, are challenging due to the potentially wide dynamic range of relevant time scales as well as interactions between time scales. We describe four forms of inductive bias that should benefit architectures for event sequences: temporal locality, position and scale homogeneity, and scale interdependence. We extend the popular gated recurrent unit (GRU) architecture to incorporate these biases via intrinsic temporal dynamics, obtaining a continuous-time GRU. The CT-GRU arises by interpreting the gates of a GRU as selecting a time scale of memory, and the CT-GRU generalizes the GRU by incorporating multiple time scales of memory and performing context-dependent selection of time scales for information storage and retrieval. Event time-stamps drive decay dynamics of the CT-GRU, whereas they serve as generic additional inputs to the GRU. Despite the very different manner in which the two models consider time, their performance on eleven data sets we examined is essentially identical. Our surprising results point both to the robustness of GRU and LSTM architectures for handling continuous time, and to the potency of incorporating continuous dynamics into neural architectures.

研究の動機と目的

• 時間スケールのばらつきが大きく、非一様なイベントタイミングを示すイベント系列をモデリングする課題に対処すること。
• 時間的局所性、位置およびスケールの同一性、スケールの依存性といったドメイン特有のインダクティブバイアスをRNNアーキテクチャに組み込むこと。
• 時間の絶対的および相対的タイムスタンプを外部入力ではなく、内在的ダイナミクスによって自然に処理できる連続時間RNNの変種を開発すること。
• 特殊な連続時間モデリングが、実世界のイベント系列タスクにおいて標準RNNの性能を向上または同等に保てるかどうかを評価すること。

提案手法

• CT-GRUはGRUを拡張し、ゲートを記憶の時間スケールの選択として解釈することで、隠れ状態に複数の時間スケールを同時に保持可能にする。
• タイムスタンプが隠れ状態の減衰ダイナミクスを駆動し、各時間スケールはゲート値によって決定される指数的減衰定数に従う。
• 時間の連続的定式化を採用し、隠れ状態は常微分方程式（ODE）の系に従って変化する。タイムスタンプが減衰率を調整する。
• 文脈依存的な時間スケールの選択により、情報の保存および回収に適応的に行える。これにより、時間的パターンへの動的適合が可能となる。
• CT-GRUは、ODEのアドジョイント感度法を用いて勾配を計算することで、時間に沿った誤差逆伝播（backpropagation through time）によって学習される。
• アーキテクチャが固定するのではなく、時間スケール選択を動的に学習可能にすることで、GRUの一般化を図る。

実験結果

リサーチクエスチョン

• RQ1 明示的に複数の時間スケールをモデル化する連続時間RNNアーキテクチャが、イベント系列タスクにおいて標準RNNを上回る性能を発揮できるか？
• RQ2 時間的局所性やスケール同一性といったインダクティブバイアスが、複雑な時間的ダイナミクスを示すイベント系列のモデリングにおいて、どの程度性能を向上させるか？
• RQ3 時間の内在的減衰ダイナミクスによってモデル化することで、時間の外部入力として扱う標準RNNと同等の性能が得られるか？
• RQ4 時間におけるスケール間の相互作用が、イベント系列における長期的および短期的依存関係のモデリングにどのように影響するか？

主な発見

• CT-GRUは、時間の扱い方が根本的に異なるにもかかわらず、11種類の多様なデータセットにおいて標準GRUとほぼ同等の性能を達成した。
• モデルは連続時間ダイナミクスとマルチスケール記憶メカニズムを通じて、時間的局所性、位置同一性、スケール同一性、スケール依存性を効果的に組み込んでいる。
• CT-GRUとGRUの性能の同等性は、標準RNN（GRU や LSTM）が、アーキテクチャの特化がなくても連続時間入力に対して頑健であることを示唆している。
• 結果から、連続時間ダイナミクスをRNNに効果的に統合できることが示され、予測精度の損なわれないOEDベースの定式化が系列モデリングに有効であることが裏付けられた。
• CT-GRUは、時間の性質を隠れ状態のダイナミクスの内在的特性としてモデル化できることを示しており、外部入力特徴として扱う必要がなく、性能の劣化なしに実現可能である。