[論文レビュー] Exploring Generative Neural Temporal Point Process

Haitao Lin, Lirong Wu+3 more|arXiv (Cornell University)|Aug 3, 2022

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本稿では、オルソゴナルな生成モデル（例：ノイズ除去拡散およびスコアマッチング）を統合することで、従来の尤度最大化手法を凌駕する予測性能を向上させる、神経的時系列ポイントプロセス（TPP）の統合的生成フレームワーク、GNTPPを提案する。イベントタイプの関係性と時間間隔に基づく適応的再重み付けを用いて注意機構を見直すことで、GNTPPは複数のベンチマークにおいて優れた次イベント時刻予測性能とサンプル品質を達成する。

ABSTRACT

Temporal point process (TPP) is commonly used to model the asynchronous event sequence featuring occurrence timestamps and revealed by probabilistic models conditioned on historical impacts. While lots of previous works have focused on `goodness-of-fit' of TPP models by maximizing the likelihood, their predictive performance is unsatisfactory, which means the timestamps generated by models are far apart from true observations. Recently, deep generative models such as denoising diffusion and score matching models have achieved great progress in image generating tasks by demonstrating their capability of generating samples of high quality. However, there are no complete and unified works exploring and studying the potential of generative models in the context of event occurence modeling for TPP. In this work, we try to fill the gap by designing a unified extbf{g}enerative framework for extbf{n}eural extbf{t}emporal extbf{p}oint extbf{p}rocess ( extsc{GNTPP}) model to explore their feasibility and effectiveness, and further improve models' predictive performance. Besides, in terms of measuring the historical impacts, we revise the attentive models which summarize influence from historical events with an adaptive reweighting term considering events' type relation and time intervals. Extensive experiments have been conducted to illustrate the improved predictive capability of extsc{GNTPP} with a line of generative probabilistic decoders, and performance gain from the revised attention. To the best of our knowledge, this is the first work that adapts generative models in a complete unified framework and studies their effectiveness in the context of TPP. Our codebase including all the methods given in Section.5.1.1 is open in \url{https://github.com/BIRD-TAO/GNTPP}. We hope the code framework can facilitate future research in Neural TPPs.

研究の動機と目的

• 強力なフィットネス度を示すにもかかわらず、既存の神経的時系列ポイントプロセス（TPP）モデルの低い予測性能を是正すること。
• 尤度ベースの学習がモデル表現力に制限を加え、高品質なサンプル生成を阻害するという限界を克服すること。
• 特にノイズ除去拡散とスコアマッチングを含む深層生成モデルの、イベント系列モデリング文脈における統合的応用を調査・統合すること。
• イベントタイプの類似性と時間的間隔に基づき、注意層に適応的再重み付け機構を導入することで、歴史的影響のエンコーディングを向上させること。
• 広範な実証的評価を通じて、TPPにおける完全で統合的な生成フレームワークの実現可能性と有効性を示すこと。

提案手法

• 深層生成モデル（例：ノイズ除去拡散）を確率的デコーダーとして統合した、統合的生成フレームワークGNTPPを設計する。
• 従来の尤度ベースデコーダーに代わり、エネルギーベースモデルによる非正規化対数尤度最適化を採用し、柔軟かつ高品質なサンプル生成を可能にする。
• イベントタイプ関係性と時間間隔の両方を用いて、歴史的イベントを適応的に再重み付ける、見直された注意機構（Rev-ATT）を導入する。
• イベントタイプ類似性をモデル化するための学習可能な行列 $\bm{E}_m\bm{E}_m^T$ を用い、時系列的およびカテゴリカルな依存関係を捉えるエンコーダーの表現力を強化する。
• 非正規化対数尤度を目的関数として用い、解析的に容易な尤度を必要としないエンドツーエンド最適化を可能にする。
• フレームワーク内に複数の生成的確率的デコーダー（例：TCDDM）を実装し、多様なデータセットにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去拡散やスコアマッチングといった深層生成モデルは、従来の尤度最大化を凌駕する神経的時系列ポイントプロセスの予測性能を向上させることができるか？
• RQ2 イベントタイプと時間間隔に基づく適応的再重み付けを施した見直された注意機構は、TPPにおける歴史的影響のモデリングをどのように改善するか？
• RQ3 統合的生成フレームワークGNTPPは、次イベント時刻予測におけるサンプル品質と予測精度をどの程度向上させるか？
• RQ4 埋め込み次元数や層数といったハイパーパrameterの影響は、GNTPPにおける生成デコーダー性能にどのような影響を及えるか？
• RQ5 提案されたフレームワークは、異なるイベントダイナミクスを示す多様な実世界データセットにおいて一貫した改善を示すか？

主な発見

• GNTPPは次イベント時刻予測における予測性能を顕著に向上させ、TCDDMベースのデコーダーがStack OverflowデータセットでMAPE 4.9947 ±0.0366を達成し、LSTMおよび標準的注意機構を上回る性能を示した。
• 見直された注意機構（Rev-ATT）は、標準的注意機構やLSTMを上回る性能を示し、RetweetデータセットではTop1正答率0.6274 ±0.0075を達成し、歴史的依存関係のモデリングが向上していることを示した。
• すべてのデータセットでCRPSとQQP_Devスコアが向上し、Stack OverflowデータセットではCRPSが0.4375 ±0.0163まで低下し、分布適合性の向上を示した。
• ハイパーパrameter感受性分析の結果、MOOCデータセットでは埋め込み次元数や層数の増加が性能を劣化させることを示し、生成モデルにおいて最適な設定が極めて重要であることを示唆した。
• イベントタイプ類似性行列の可視化により、(Stellar Question, Great Answer)の間に高い類似性が観察され、モデルが意味的イベント関係を適切に学習できていることを検証した。
• 完全なコードベースは https://github.com/BIRD-TAO/GNTPP で公開されており、神経的TPP分野における再現性と今後の研究を支援する。