[논문 리뷰] Fast and Flexible Temporal Point Processes with Triangular Maps

Oleksandr Shchur, Nicholas Gao외 2명|arXiv (Cornell University)|2020. 06. 22.

Point processes and geometric inequalities참고 문헌 57인용 수 6

한 줄 요약

이 논문은 정규화 흐름에서 유도된 삼각형 맵을 활용하여 완전히 병렬화된 가능도 계산과 샘플링을 가능하게 하는 비재귀적 시간점과정의 새로운 클래스인 TriTPP를 소개한다. 기존의 TPP를 가역적이고 순차적인 변환으로 재구성함으로써 TriTPP는 RNN 수준의 유연성을 유지하면서도 수십 배에서 수백 배 빠른 샘플링 속도를 달성하여 실세계 데이터셋에서 연속시간 마르코프 점프 과정의 효율적인 변분 추론을 가능하게 한다.

ABSTRACT

Temporal point process (TPP) models combined with recurrent neural networks provide a powerful framework for modeling continuous-time event data. While such models are flexible, they are inherently sequential and therefore cannot benefit from the parallelism of modern hardware. By exploiting the recent developments in the field of normalizing flows, we design TriTPP -- a new class of non-recurrent TPP models, where both sampling and likelihood computation can be done in parallel. TriTPP matches the flexibility of RNN-based methods but permits orders of magnitude faster sampling. This enables us to use the new model for variational inference in continuous-time discrete-state systems. We demonstrate the advantages of the proposed framework on synthetic and real-world datasets.

연구 동기 및 목표

• RNN 기반 시간점과정의 순차적 성질이 병렬 처리와 샘플링 속도를 제한하는 문제를 해결하기 위해.
• RNN 기반 모델의 표현력을 유지하면서도 병렬 추론과 생성을 가능하게 하는 비재귀적 TPP 프레임워크를 개발하기 위해.
• 비가역적 샘플링 기반 손실에 대한 유연한 근사화를 유도함으로써 은닉 반마르코프 모델에 대한 미분 가능한 변분 추론을 지원하기 위해.
• 제안된 모델이 합성 및 실세계 이벤트 시계열 모델링 과제에서 RNN 기반 및 전통적 TPP와 비교해 성능을 동등하거나 초월하는가를 입증하기 위해.

제안 방법

• 시간점과정을 삼각형 맵(가역적이고 순차적인 변환)을 사용하여 재구성함으로써, 병렬 샘플링과 가능도 평가를 가능하게 한다.
• 다양한 구성 요소로 이루어진 플로우 기반 변환을 구성한다: 시간 왜곡 맵(Λ), 기본 변환(D), 커플링 플로우(Φ₁), 비젝터 시퀀스(B₁–B₄), 두 번째 커플링 플로우(Φ₂), 최종 비젝터(C)로 구성되며, 전체 맵 F = C ∘ Φ₂ ∘ B₄ ∘ B₃ ∘ B₂ ∘ B₁ ∘ Φ₁ ∘ D ∘ Λ 를 형성한다.
• 가능도는 변수 변화 공식을 통해 계산되며, 각 구성 요소의 야코비안 행렬식은 부분 도함수의 곱으로 표현되어 효율적인 기울기 계산이 가능하다.
• 변환된 공간에서 기저 분포로 동질적 포아송 과정을 사용하며, 보정 함수 Λ*(t)는 이벤트 시간을 단위 강도 포아송 과정으로 매핑한다.
• 비가역적 샘플링 기반 손실에 대한 유연한 근사화를 유도하여, 은닉 반마르코프 모델에 대한 변분 추론에서의 엔드 투 엔드 학습을 지원한다.
• 모델은 밀도 추정과 변분 추론을 모두 지원하며, 학습은 최대 가능도 기반, 사후 분포 추정은 약어 추론(amortized inference) 방식을 사용한다.

실험 결과

연구 질문

• RQ1 RNN 기반 모델의 유연성과 동등한 성능을 유지하면서도 완전히 병렬화된 샘플링과 가능도 계산이 가능한 비재귀적 시간점과정를 설계할 수 있는가?
• RQ2 정규화 흐름에서 유도된 삼각형 맵를 활용해 길이가 변하는 연속시간 이벤트 시계열을 효과적으로 모델링할 수 있는가?
• RQ3 제안된 프레임워크는 연속시간 이산 상태 시스템, 예를 들어 마르코프 점프 과정에서의 미분 가능한 변분 추론을 지원할 수 있는가?
• RQ4 실세계 데이터에서 TriTPP의 성능은 RNN 기반 및 전통적 TPP와 비교해 가능도, 샘플링 속도, 분포 일치 측면에서 어떻게 평가되는가?

주요 결과

• TriTPP는 RNN 기반 모델보다 수십 배에서 수백 배 빠른 샘플링 속도를 확보하여 장기간의 시계열 생성을 효율적으로 가능하게 한다.
• 트위터 데이터셋에서 TriTPP는 시계열 길이 분포 일치에 대해 와서스타인 거리(WD) 0.17을 기록했으며, 하크스 과정(WD = 0.50)을 능가하고 RNN의 성능(WD = 0.10)에 근접한다.
• 서버 로그 데이터에서의 변분 추론 과정에서 TriTPP는 고이벤트 레이트 상태와 저이벤트 레이트 상태로 시계열을 성공적으로 분할하며, MCMC 기반 베이스라인과 유사한 결과를 도출한다.
• 여러 랜덤 시드에서 안정적으로 수렴하며, 일관된 사후 궤적과 학습 손실 곡선을 보이며 강건성을 입증한다.
• 모든 벤치마크 데이터셋에서 TriTPP는 RNN 기반 모델과 동등하거나 뛰어난 음의 로그가능도(NLL) 성능을 기록하면서도 병렬 추론을 지원한다.
• 샘플링 기반 손실에 대한 유연한 근사화는 변분 추론을 위한 엔드 투 엔드 학습을 가능하게 하여, 복잡한 연속시간 시스템에 모델을 적용하는 데 실현 가능성을 제공한다.