[論文レビュー] Learning Latent Process from High-Dimensional Event Sequences via Efficient Sampling

Qitian Wu, Zixuan Zhang+3 more|arXiv (Cornell University)|Oct 28, 2019

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本稿では、高次元のマーク付きイベント系列における潜在的時系列的ダイナミクスと隠れ関係ネットワークを同時にモデル化する敵対的模倣学習フレームワーク、LANTERNを提案する。グラフアテンションに基づく潜在的強度モデルと効率的なランダムウォークサンプリング、およびseq2seqディスクライマーを組み合わせることで、LANTERNは、100万マーク規模でさえも線形スケーラビリティを維持しながら、イベント予測およびネットワーク再構築において最先端の性能を達成する。

ABSTRACT

We target modeling latent dynamics in high-dimension marked event sequences without any prior knowledge about marker relations. Such problem has been rarely studied by previous works which would have fundamental difficulty to handle the arisen challenges: 1) the high-dimensional markers and unknown relation network among them pose intractable obstacles for modeling the latent dynamic process; 2) one observed event sequence may concurrently contain several different chains of interdependent events; 3) it is hard to well define the distance between two high-dimension event sequences. To these ends, in this paper, we propose a seminal adversarial imitation learning framework for high-dimension event sequence generation which could be decomposed into: 1) a latent structural intensity model that estimates the adjacent nodes without explicit networks and learns to capture the temporal dynamics in the latent space of markers over observed sequence; 2) an efficient random walk based generation model that aims at imitating the generation process of high-dimension event sequences from a bottom-up view; 3) a discriminator specified as a seq2seq network optimizing the rewards to help the generator output event sequences as real as possible. Experimental results on both synthetic and real-world datasets demonstrate that the proposed method could effectively detect the hidden network among markers and make decent prediction for future marked events, even when the number of markers scales to million level.

研究の動機と目的

• マーカー間の関係に関する事前知識がなくとも、高次元のマーク付きイベント系列における潜在的時系列的ダイナミクスと隠れ依存関係ネットワークをモデル化する課題に対処すること。
• 従来の方法が$O(n^2)$のパラメータ複雑性のため失敗する、スパースで高次元なイベント系列のモデリングにおける非可解性を克服すること。
• 最小限の歴史的データしか入手できない状況でも、部分観測からの将来的なイベント（時刻とマーカー）の正確な予測を可能にすること。
• マーカー間の潜在的関係ネットワークを高い精度と解釈可能性で再構築すること。
• 最大100万マーカーまでのスケーラビリティを確保し、既存手法の指数的スケーリング問題を克服すること。

提案手法

• マーカーを学習可能な埋め込みベクトルとして扱い、下位から上位への視点でイベント系列生成を模倣するジェネレータモデルを提案する。
• 明示的なネットワークトポロジーを必要とせず、隠れ依存関係のエンドツーエンド学習を可能にする、グラフベースのアテンション機構を用いて潜在的構造的強度を推定する。
• 構造的・階層的に次イベントを生成するための効率的なランダムウォークベースのサンプリング戦略を導入し、トレーニングの安定性と現実性を向上させる。
• 明示的な距離メトリクスに依存せず、逆強化学習を用いて報酬信号を最適化するseq2seqディスクライマーを用いる。
• ジェネレータにおけるマルチヘッドアテンションを活用し、マーカー間の潜在的構造的近接性をよりよく捉えることで、ネットワーク再構築性能を向上させる。
• 訓練のためのヒューリスティック報酬関数をジェネレータに導入するが、アブレーション実験では、完全な敵対的報酬学習に比べて劣ることが示された。

実験結果

リサーチクエスチョン

• RQ1 事前構造的知識がなくとも、深層生成モデルが高次元のマーク付きイベント系列における潜在的時系列点過程と隠れ関係ネットワークを効果的に学習できるか？
• RQ2 連続するイベントが必ずしも因果関係を持たないような、暗黙の依存関係の課題をモデルはどのように処理できるか？
• RQ3 ヒューリスティック報酬と敵対的報酬の違いが、生成された系列の品質およびネットワーク再構築に与える影響は何か？
• RQ4 特にマーカー数が数百万に達するような状況において、モデルのスケーリング特性はどのように変化するか？
• RQ5 既存のベースラインと比較して、将来的なイベント予測とネットワークトポロジー再構築の両面で優れた性能を達成できるか？

主な発見

• LANTERNは全データセットでネットワーク再構築のF1スコアが最高であり、次に優れたベースライン（NETRATEまたはKernelCascade）と比較して平均14.9%の改善を達成した。
• 時刻とマーカー予測において、LANTERNはNETRATEおよびKernelCascadeを著しく上回り、特に系列の小さな部分しか観測されていない状況で顕著な優位性を示した。
• LANTERN-RNNは小規模データセットではLANTERN-PRを上回る性能を示したが、LANTERN-PRは信頼性の低いヒューリスティック報酬のため性能が劣り、敵対的報酬学習の重要性が示された。
• LANTERNはマーカー数が100から100,000に増加するに従い、実行時間の線形スケーリングを示したのに対し、NETRATEおよびKernelCascadeは指数的増加を示した。
• モデルは100万マーカー規模でも効果を発揮し、実行時間は線形に増加した。これは、ソーシャルメディアや都市移動データなどの大規模リアルワールド応用に適していることを確認した。
• トレーニング曲線では小規模データセットでは安定した収束が観察されたが、大規模データセットではマーカー空間が非常に大きいため、サンプリングのランダム性に起因するフラクチュエーションが見られた。