[論文レビュー] Self-Attentive Hawkes Processes

Qiang Zhang, Aldo Lipani+2 more|arXiv (Cornell University)|Jul 17, 2019

Morphological variations and asymmetry参考文献 47被引用数 23

ひとこと要約

本稿では、自己注意メカニズムを活用して非同期的で多様なモード、および相互に相関するイベント系列をモデル化する自己注意型ハーケス過程（SAHP）を提案する。RNNベースの代替手法に比べ、予測精度と解釈可能性が向上する。標準的な位置埋め込みを時間に適応した位相シフト付き正弦関数に置き換えることで、イベント間隔を捉え、より正確な強度モデル化が可能となり、学習された注意重みを通じて解釈可能な同僚影響パターンを明らかにする。

ABSTRACT

Asynchronous events on the continuous time domain, e.g., social media actions and stock transactions, occur frequently in the world. The ability to recognize occurrence patterns of event sequences is crucial to predict which typeof events will happen next and when. A de facto standard mathematical framework to do this is the Hawkes process. In order to enhance expressivity of multivariate Hawkes processes, conventional statistical methods and deep recurrent networks have been employed to modify its intensity function. The former is highly interpretable and requires small size of training data but relies on correct model design while the latter has less dependency on prior knowledge and is more powerful in capturing complicated patterns. We leverage pros and cons of these models and propose a self-attentive Hawkes process(SAHP). The proposed method adapts self-attention to fit the intensity function of Hawkes processes. This design has two benefits:(1) compared with conventional statistical methods, the SAHP is more powerful to identify complicated dependency relationships between temporal events; (2)compared with deep recurrent networks, the self-attention mechanism is able to capture longer historical information, and is more interpretable because the learnt attention weight tensor shows contributions of each historical event. Experiments on four real-world datasets demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 自然言語処理で実証済みの自己注意メカニズムが、ハーケス過程における非同期的で多様なモード、および相互に相関するイベント系列のモデル化に有効であるかどうかを調査すること。
• 従来の自己注意メカニズムが、イベント間の実際の時間間隔を無視するため、時間的イベント系列の処理に限界を示すという問題を解決すること。
• イベント間隔を正弦関数の位相シフトに変換する、新しい時間シフト付き位置埋め込み手法を考案すること。
• 注意重みを活用して、1つのイベントタイプが別のイベントタイプに与える影響を明らかにすることで、モデルの解釈可能性を向上させること。
• SAHPが、既存のRNNベースおよび標準ハーケス過程モデルに比べ、適合度および次回イベント予測の両タスクで優れていることを実証すること。

提案手法

• イベント間隔を正弦関数の位相シフトとして符号化するように、位置埋め込みを変更することで、自己注意メカニズムを連続時間イベント系列に適応させる。
• スケーリングされたドット積み注意を用いて、イベント埋め込み間のクエリ・キー・バリュー相互作用に基づき、過去のイベントが次回イベントの強度に与える影響を計算する。
• 時間に適応した位置符号化を採用し、正弦関数の位相シフトがイベント間隔に比例するようにすることで、時間的ダイナミクスを保持する。
• ハーケス過程の条件付き強度関数を、過去のイベント影響の重み付き和としてモデル化し、注意重みが相対的寄与度を示すようにする。
• イベントの種別と発生時刻の両方の予測を最適化するため、尤度推定に基づきエンドツーエンドでモデルを学習する。
• 異なるイベントタイプ間の注意重みを分析・可視化することで、統計的に有意な影響パターンを明らかにし、解釈可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己注意メカニズムは、時間的ポイント過程において、複雑で非同期的かつ多様なモードのイベント系列を効果的にモデル化できるか？
• RQ2 従来の自己注意メカニズムは、イベント間隔という連続時間イベントモデリングにおいて極めて重要な時間的情報を保持できるようにどのように適合できるか？
• RQ3 提案された時間シフト付き位置埋め込みは、標準的な正弦関数型または学習可能な位置埋め込みと比較して、ハーケス過程におけるモデル性能を向上させるか？
• RQ4 提案モデルの注意重みは、異なる種類のイベント間で意味的で解釈可能な同僚影響パターンを明らかにできるか？
• RQ5 自己注意型ハーケス過程（SAHP）は、RNNベースおよび標準ハーケス過程モデルに比べ、予測精度およびモデル適合度の観点で優れているか？

主な発見

• 自己注意型ハーケス過程（SAHP）は、1つの人工的データセットおよび4つの実世界データセットにおいて、適合度および次回イベント予測タスクの両方で、最先端のRNNベースおよび標準ハーケスモデルを上回る優れた性能を達成した。
• 提案された時間シフト付き位置埋め込み手法は、イベント間隔を正弦関数の位相シフトに変換することで、効果的にエンコードし、モデルの表現力が著しく向上した。
• SAHPにおける注意重みは、モデルが主に同じ種類の過去イベントに注目する（対角的注意）傾向にあることを示しており、イベント系列における自己励起パターンを示している。
• 非対角的注意パターン、例えば「Constituent」と「Caucus」の間、または「Boosters and Enlightened」と「Publicist」の間の注目は、実世界の系列における共起パターンを反映し、統計的に有意なタイプ間影響を示している。
• 注意重みが1つのイベントタイプが別のイベントタイプの発生確率に与える寄与度を直接明らかにするため、RNNベースの手法に比べて解釈性が著しく高い。
• 実証結果から、SAHPは固定強度またはRNNベースのハーケス過程よりも、イベントダイナミクスにおける複雑な記憶効果および非加法的依存関係をより効果的に捉えていることが確認された。