[論文レビュー] Prompt-augmented Temporal Point Process for Streaming Event Sequence

Siqiao Xue, Yan Wang+8 more|arXiv (Cornell University)|Oct 8, 2023

Human Pose and Action RecognitionComputer Science被引用数 3

ひとこと要約

PromptTPPは、連続時間のリトリーブプロンプトプールを用いた、ストリーミングイベント系列における継続的学習のための新しいフレームワークを提案する。この手法により、リハーよりバッファやタスクIDを必要としない、効率的でメモリ効率が良く、タスクに依存しない学習が可能となる。本手法は、学習可能なプロンプトとベースとなるニューラル時刻点過程を同時に最適化することで、3つの実世界のユーザ行動データセットにおいて最先端の性能を達成した。

ABSTRACT

Neural Temporal Point Processes (TPPs) are the prevalent paradigm for modeling continuous-time event sequences, such as user activities on the web and financial transactions. In real-world applications, event data is typically received in a \emph{streaming} manner, where the distribution of patterns may shift over time. Additionally, \emph{privacy and memory constraints} are commonly observed in practical scenarios, further compounding the challenges. Therefore, the continuous monitoring of a TPP to learn the streaming event sequence is an important yet under-explored problem. Our work paper addresses this challenge by adopting Continual Learning (CL), which makes the model capable of continuously learning a sequence of tasks without catastrophic forgetting under realistic constraints. Correspondingly, we propose a simple yet effective framework, PromptTPP\footnote{Our code is available at {\small \url{ https://github.com/yanyanSann/PromptTPP}}}, by integrating the base TPP with a continuous-time retrieval prompt pool. The prompts, small learnable parameters, are stored in a memory space and jointly optimized with the base TPP, ensuring that the model learns event streams sequentially without buffering past examples or task-specific attributes. We present a novel and realistic experimental setup for modeling event streams, where PromptTPP consistently achieves state-of-the-art performance across three real user behavior datasets.

研究の動機と目的

• プライバシー制約やメモリ制限といった現実世界の制約下で、ストリーミングイベント系列に対する継続的学習の課題に対処すること。
• リアルタイムで順序付きデータを処理する際のニューラル時刻点過程（TPPs）における深刻な忘却の問題を克服すること。
• リハーサルバッファを回避し、推論時にタスクIDを必要としない、タスクに依存しない、メモリ効率の良い手法を開発すること。
• 学習可能なプロンプトベースのメカニズムを通じて、連続時間イベントモデリングにおける効果的な知識の転送と柔軟性（プラスティシティ）を実現すること。

提案手法

• キーバリュー記憶空間に小さな学習可能なパラメータ（プロンプト）を格納する連続時間のリトリーブプロンプトプールを導入する。
• 入力イベント系列に基づいて、クエリとキーマッチングを用いてタスク関連のプロンプトを動的に選択するリトリーブ機構を設計する。
• 共有知識の保持とタスク固有のパターンへの適応を図るため、生成損失を用いてベースとなるニューラルTPPとプロンプトプールを同時に最適化する。
• 性能に影響を与えることなく訓練効率を向上させるために、更新頻度$C$を用いた非同期的プロンプト更新メカニズムを実装する。
• クエリとプロンプトの学習を分離するため、キーバリュー共有メモリ空間にプロンプトを構造化することで、リトリーブ精度とモデル安定性を向上させる。
• プロンプトプールをモジュール型のプラグインコンponentとして扱うことで、任意のニューラルTPPアーキテクチャと互換性を確保する。

Figure 1 : Overview of the classical schemes and PromptTPP framework for streaming event sequences.

実験結果

リサーチクエスチョン

• RQ1 ストリーミングでリアルタイムにデータが入力される状況下で、プロンプト拡張フレームワークは、ニューラル時刻点過程における深刻な忘却を効果的に軽減できるか？
• RQ2 ストリーミングイベントモデリングにおいて、リトリーブベースのプロンプトメカニズムは、従来のリハーサルベースやタスクID依存の継続的学習手法と比較してどのように優れているか？
• RQ3 プロンプトプールサイズ$M$、プロンプト長、選択サイズが、継続的イベント系列学習におけるモデル性能と一般化能力にどの程度影響を与えるか？
• RQ4 提案手法は、現実の展開環境において、低メモリおよび計算コストを維持しながら最先端の性能を達成できるか？
• RQ5 非同期的プロンプト更新戦略は、予測性能を劣化させることなく収束を加速させるのにどの程度効果的か？

主な発見

• PromptTPPは、ストリーミングで継続的学習が行われる状況下で、3つの実世界のユーザ行動データセット（Amazon、Taobao、および別の未指定のデータセット）において最先端の性能を達成した。
• ベースとなるTPPと比較して、パラメータ数がたった8–12%増加するにとどまり、トレーニング速度への影響も最小限であるため、高いパラメータ効率を示した。
• 更新頻度$C=2$の非同期的プロンプト更新により、Amazonデータセットでは収束速度が向上したが、性能は競争力のある水準を維持した。これにより、スケーラビリティと効率性が裏付けられた。
• キーバリュー設計を削除した場合（w/o CtRroPP）には顕著な性能低下が見られた。これは、構造化されたプロンプトリトリーブが知識保持に重要であることを確認した。
• 学習可能なキーパラメータを平均プーリングに置き換えた場合（w/o k-v）には中程度の性能低下が生じた。これは、学習可能なキーパラメータがリトリーブ精度とモデル安定性を著しく向上させることを示している。
• プロンプトプールサイズ$M$を増加させると性能が一貫して向上した。これは、より大きなプロンプト容量が知識のエンコードと転送を強化することを確認した。

Figure 2 : Overview of PromptTPP. Up: At training time, PromptTPP selects a subset of temporal prompts from a key-value paired CtRetroPromptPool based on our proposed retrieval mechanism; then it prepends the selected prompts to the event representations; finally it feeds the extended event represen