[논문 리뷰] Prompt-augmented Temporal Point Process for Streaming Event Sequence

Siqiao Xue, Yan Wang외 8명|arXiv (Cornell University)|2023. 10. 08.

Human Pose and Action RecognitionComputer Science인용 수 3

한 줄 요약

PromptTPP는 지속적 학습을 위한 새로운 프레임워크를 제안하며, 연속 시간 검색 프롬프트 풀을 사용하여 스트리밍 이벤트 시퀀스에 대해 효율적이고 메모리 효율적이며 작업에 종속되지 않는 학습을 가능하게 한다. 재현 버퍼나 작업 식별자가 필요 없으며, 가용 가능한 프롬프트를 공동 최적화하고 기반 신경 시계점과정을 통해 세 가지 실세계 사용자 행동 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

Neural Temporal Point Processes (TPPs) are the prevalent paradigm for modeling continuous-time event sequences, such as user activities on the web and financial transactions. In real-world applications, event data is typically received in a \emph{streaming} manner, where the distribution of patterns may shift over time. Additionally, \emph{privacy and memory constraints} are commonly observed in practical scenarios, further compounding the challenges. Therefore, the continuous monitoring of a TPP to learn the streaming event sequence is an important yet under-explored problem. Our work paper addresses this challenge by adopting Continual Learning (CL), which makes the model capable of continuously learning a sequence of tasks without catastrophic forgetting under realistic constraints. Correspondingly, we propose a simple yet effective framework, PromptTPP\footnote{Our code is available at {\small \url{ https://github.com/yanyanSann/PromptTPP}}}, by integrating the base TPP with a continuous-time retrieval prompt pool. The prompts, small learnable parameters, are stored in a memory space and jointly optimized with the base TPP, ensuring that the model learns event streams sequentially without buffering past examples or task-specific attributes. We present a novel and realistic experimental setup for modeling event streams, where PromptTPP consistently achieves state-of-the-art performance across three real user behavior datasets.

연구 동기 및 목표

• 실제 환경에서의 개인정보 보호 및 메모리 제약 조건 하에서 스트리밍 이벤트 시퀀스에 대한 지속적 학습의 과제를 해결한다.
• 실시간으로 순차 데이터를 처리할 때 신경 시계점과정(TPPs)에서 발생하는 치명적인 잊음 문제를 극복한다.
• 재현 버퍼를 피하고 추론 시 작업 식별 정보가 필요 없는, 작업에 종속되지 않은 메모리 효율적인 방법을 개발한다.
• 학습 가능한 프롬프트 기반 메커니즘을 통해 지속 시간 기반 이벤트 모델링에서 효과적인 지식 전이와 유연성(플라스티시티)을 가능하게 한다.

제안 방법

• 키-밸류 메모리 공간에 소규모 가속 가능한 파rameter를 프롬프트로 저장하는 연속 시간 검색 프롬프트 풀을 도입한다.
• 입력 이벤트 시퀀스를 기반으로 쿼리-키 매칭을 통해 작업 관련 프롬프트를 동적으로 선택하는 메커니즘을 설계한다.
• 기반 신경 TPP와 프롬프트 풀을 함께 최적화하기 위해 생성적 손실을 사용하여 공유 지식를 유지하고 작업 특화 패턴에 적응한다.
• 성능 저하 없이 학습 효율성을 향상시키기 위해 갱신 빈도 $C$를 갖는 비동기적 프롬프트 업데이트 메커니즘을 구현한다.
• 쿼리와 프롬프트 학습을 분리하기 위해 키-밸류 공유 메모리 공간에 프롬프트를 구조화함으로써 검색 정확도와 모델 안정성을 향상시킨다.
• 프롬프트 풀을 모듈러하고 플러그인 형태의 구성 요소로 간주함으로써, 어떤 신경 TPP 아키텍처와도 호환성을 확보한다.

Figure 1 : Overview of the classical schemes and PromptTPP framework for streaming event sequences.

실험 결과

연구 질문

• RQ1 스트리밍 및 실시간 데이터 조건에서, 프롬프트 보강 프레임워크가 신경 시계점과정(TPPs)에서 치명적인 잊음을 효과적으로 완화할 수 있는가?
• RQ2 스트리밍 이벤트 모델링에서, 검색 기반 프롬프트 메커니즘은 전통적인 재현 기반 또는 작업 식별에 의존하는 지속적 학습 방법과 비교해 어떻게 성능을 내는가?
• RQ3 프롬프트 풀 크기, 프롬프트 길이, 선택 크기 등이 지속적 이벤트 시퀀스 학습에서 모델 성능과 일반화 능력에 얼마나 영향을 미치는가?
• RQ4 실제 구현 환경에서 낮은 메모리 및 계산 오버헤드를 유지하면서도 최신 기술 성능을 달성할 수 있는가?
• RQ5 비동기적 프롬프트 업데이트 전략은 예측 성능 저하 없이 수렴 속도를 가속화하는 데 얼마나 효과적인가?

주요 결과

• PromptTPP는 스트리밍 및 지속적 학습 환경에서 세 가지 실세계 사용자 행동 데이터셋(아마존, 타오바오, 그리고 명시되지 않은 다른 데이터셋)에서 최신 기술 성능을 달성한다.
• 기반 TPP 대비 총 파라미터 수가 오직 8–12% 증가할 뿐이며, 학습 속도에 미치는 영향도 최소이므로 높은 파라미터 효율성을 보여준다.
• C=2로 설정한 비동기 프롬프트 업데이트 전략은 아마존 데이터셋에서 수렴 속도를 향상시키며 경쟁 가능한 성능을 유지함으로써 확장성과 효율성을 입증한다.
• 키-밸류 프롬프트 설계를 제거한 경우(w/o CtRroPP) 성능 저하가 뚜렷하게 발생하여, 지식 유지에 있어 구조화된 프롬프트 검색의 중요성을 확인한다.
• 가속 가능한 키를 평균 풀링으로 대체한 경우(w/o k-v) 성능 저하가 중간 정도로 발생하여, 가속 가능한 키가 검색 정확도와 모델 안정성에 크게 기여함을 시사한다.
• 프롬프트 풀 크기 $M$을 늘릴수록 성능이 일관되게 향상되며, 이는 더 큰 프롬프트 용량이 지식 인코딩 및 전이 능력을 향상시킴을 확인한다.

Figure 2 : Overview of PromptTPP. Up: At training time, PromptTPP selects a subset of temporal prompts from a key-value paired CtRetroPromptPool based on our proposed retrieval mechanism; then it prepends the selected prompts to the event representations; finally it feeds the extended event represen