[논문 리뷰] Intensity-Free Learning of Temporal Point Processes

Oleksandr Shchur, Marin Biloš외 1명|arXiv (Cornell University)|2019. 09. 26.

Markov Chains and Monte Carlo Methods참고 문헌 46인용 수 22

한 줄 요약

이 논문은 정규화 흐름과 단순한 혼합 모델을 사용하여 상호 발생 간격의 조건부 분포를 직접 모델링함으로써 강도 자유 학습을 제안하며, 예측, 시퀀스 임베딩, 결측 데이터 보정에서 최신 기술 수준의 성능을 달성하면서도 닫힌 형식의 샘플링과 모멘트 계산을 가능하게 한다.

ABSTRACT

Temporal point processes are the dominant paradigm for modeling sequences of events happening at irregular intervals. The standard way of learning in such models is by estimating the conditional intensity function. However, parameterizing the intensity function usually incurs several trade-offs. We show how to overcome the limitations of intensity-based approaches by directly modeling the conditional distribution of inter-event times. We draw on the literature on normalizing flows to design models that are flexible and efficient. We additionally propose a simple mixture model that matches the flexibility of flow-based models, but also permits sampling and computing moments in closed form. The proposed models achieve state-of-the-art performance in standard prediction tasks and are suitable for novel applications, such as learning sequence embeddings and imputing missing data.

연구 동기 및 목표

• 유연성, 가능도 계산, 샘플링 효율성 간의 상충 관계가 발생하는 강도 기반 모델의 한계를 해결한다.
• 기존 방법들이 닫힌 형식의 가능도가 없거나 기대값과 모멘트를 효율적으로 계산할 수 없는 문제를 해결한다.
• 상호 발생 간격의 조건부 분포를 직접 모델링하는 프레임워크를 개발하여, 민감하고 효율적이며 이론적으로 타당한 학습을 가능하게 한다.
• 제안된 분포 모델링 접근법을 활용해 시퀀스 임베딩 및 결측 데이터 보정과 같은 새로운 응용을 가능하게 한다.

제안 방법

• 조건부 강도 함수 $\lambda^*(t)$를 추정하는 대신, 상호 발생 간격의 조건부 분포 $p^*(\tau)$를 직접 모델링한다.
• 정확한 가능도 계산과 효율적 샘플링을 가능하게 하는 유연하고 가역적인 변환을 정규화 흐름을 통해 구성한다.
• 유연성은 유사하게 유지하면서도 닫힌 형식의 샘플링과 모멘트 계산이 가능한 단순한 혼합 모델을 제안한다.
• 시계열 의존성을 모델링하기 위해 학습된 분포를 RNN 기반의 히스토리 인코더에 통합한다.
• 학습 중에 결측된 상호 발생 간격을 위한 확률적 보정을 처리하기 위해 재생성 기반 경사하강법을 적용한다.
• 관측된 상호 발생 간격의 로그 가능도에 기반해 최대 가능도 추정을 사용해 모델을 종합적으로 학습시킨다.

실험 결과

연구 질문

• RQ1 상호 발생 간격의 직접적 밀도 추정이 강도 기반 모델링보다 시간적 포인트 프로세스에서 더 우수한 성능을 낼 수 있는가?
• RQ2 정규화 흐름과 혼합 모델이 TPP에서 유연성과 함께 닫힌 형식의 추론을 제공할 수 있는가?
• RQ3 제안된 방법이 시간적 사건 시퀀스에서 효과적인 시퀀스 임베딩과 결측 데이터 보정을 가능하게 하는가?
• RQ4 최신 기술 수준의 강도 기반 모델인 FullyNN과 RMTPP와 비교해 성능에서 어떻게 차이가 나는가?
• RQ5 직접 상호 발생 간격 분포를 모델링하는 것이 더 높은 가능도 및 예측 정확도를 이끌어내는가?

주요 결과

• 제안된 강도 자유 모델은 표준 시간적 포인트 프로세스 예측 벤치마크에서 최신 기술 수준의 성능을 달성하며, RMTPP 및 FullyNN 등 기존 모델보다 NLL과 예측 정확도 측면에서 모두 뛰어난 성능을 보였다.
• 혼합 기반 모델은 유연성은 유사하게 유지하면서도 닫힌 형식의 샘플링과 모멘트 계산이 가능하여 표준 유형의 흐름 모델이 불가능한 점을 보완한다.
• Yelp 데이터셋에서 제안된 방법은 테스트 NLL 10.35 ± 0.106과 시간 정확도 7.78 ± 0.107을 기록하여 두 지표에서 기준 모델을 모두 초월했다.
• 학습된 임베딩에서 조건부 생성을 통해 명백한 시간 패턴을 반영하는 의미 있는 시퀀스 임베딩을 효과적으로 학습했다.
• 학습된 분포를 사용해 타당한 상호 발생 간격을 샘플링함으로써 결측 데이터 하에서 가능도 추정을 향상시켜 효과적인 결측 데이터 보정이 가능했다.
• 재생성 기반 경사하강법을 통한 종합적 학습을 지원하여, 완전하지 않은 시퀀스에서도 비가역적 보정과 안정적인 최적화가 가능했다.