[논문 리뷰] Uncertainty on Asynchronous Time Event Prediction

Marin Biloš, Bertrand Charpentier외 1명|arXiv (Cornell University)|2019. 01. 01.

Time Series Analysis and Forecasting인용 수 11

한 줄 요약

이 논문은 로지스틱 노멀 및 디리클레 분포를 사용하여 异상적인 이벤트 시퀀스 예측에서 시간에 따라 변화하는 불확실성을 모델링하는 두 가지 새로운 딥러닝 아키텍처인 WGP-LN과 FD-Dir를 제안한다. RNN과 가우시안 프로세스 또는 함수 분해를 조합함으로써, 이 모델들은 예측 분포의 풍부한 시간 역학을 포착하고, 여러 데이터셋에서 클래스 예측, 시간 예측, 이상 탐지 과제에서 성능을 크게 향상시킨다.

ABSTRACT

Asynchronous event sequences are the basis of many applications throughout different industries. In this work, we tackle the task of predicting the next event (given a history), and how this prediction changes with the passage of time. Since at some time points (e.g. predictions far into the future) we might not be able to predict anything with confidence, capturing uncertainty in the predictions is crucial. We present two new architectures, WGP-LN and FD-Dir, modelling the evolution of the distribution on the probability simplex with time-dependent logistic normal and Dirichlet distributions. In both cases, the combination of RNNs with either Gaussian process or function decomposition allows to express rich temporal evolution of the distribution parameters, and naturally captures uncertainty. Experiments on class prediction, time prediction and anomaly detection demonstrate the high performances of our models on various datasets compared to other approaches.

연구 동기 및 목표

• 비동기적 시퀀스에서 미래의 이벤트를 예측하면서도, 특히 장기 예측에 있어서 불확실성을 정량화하는 데 도전하는 것.
• 자연스럽게 신뢰도 감소와 불확실성을 포착할 수 있도록 시간에 따라 예측 분포의 진화를 모델링하는 것.
• 분포 불확실성을 명시적으로 모델링하여 이벤트 클래스 예측, 시간 예측, 이상 탐지 과제에서 성능을 향상시키는 것.
• 순차적 모델링을 RNN과 함수 분해를 통해 확률적 시간 의존 분포(로지스틱 노멀 및 디리클레)와 통합하는 아키텍처를 개발하는 것.

제안 방법

• WGP-LN을 제안하며, RNN과 가우시안 프로세스를 조합하여 단형 간수의 확률 분포 파라미터를 모델링함으로써 부드러운 시간적 진화를 포착한다.
• FD-Dir을 도입하며, 함수 분해를 통해 시간에 따라 변화하는 디리클레 분포의 파라미터를 모델링함으로써 민첩하고 해석 가능한 시간 역학을 가능하게 한다.
• RNN을 사용해 이벤트 이력의 인코딩을 수행하고, 미래 예측을 위한 시간 의존 분포 파라미터를 생성한다.
• 확률 단형 간수를 사용해 이벤트 클래스 확률을 표현함으로써 시간에 따라 유효한 확률 분포를 보장한다.
• WGP-LN에서 가우시안 프로세스를 활용해 분포 파라미터 진화의 불확실성을 모델링함으로써 불확실성 인식 예측을 가능하게 한다.
• FD-Dir에서 함수 분해를 적용해 분포 파라미터의 비선형 시간 패턴을 모델링함으로써 표현력을 향상시킨다.

실험 결과

연구 질문

• RQ1 장기 예측에 있어서, 특히 장기 예측에 있어 비동기적 이벤트 시퀀스 예측의 불확실성을 효과적으로 시간에 따라 모델링할 수 있는가?
• RQ2 로지스틱 노멀 및 디리클레와 같은 확률적 시간 의존 분포를 갖는 RNN 기반 아키텍처가 예측 정확도와 불확실성 校정을 향상시킬 수 있는가?
• RQ3 WGP-LN과 FD-Dir는 기존 모델 대비 클래스 예측, 시간 예측, 이상 탐지 과제에서 어떻게 성능을 냈는가?
• RQ4 제안된 모델들이 예측 수평이 증가함에 따라 자연스럽게 감소하는 신뢰도의 특성을 얼마나 잘 포착하는가?

주요 결과

• 제안된 모델인 WGP-LN과 FD-Dir는 다양한 실세계 데이터셋에서 이벤트 클래스 예측에서 최첨단 성능을 달성한다.
• 두 모델 모두 장기 예측에서 특히 신뢰도가 자연스럽게 감소하는 상황에서 개선된 불확실성 校정 성능을 보여준다.
• 시간 예측 과제에서 기존 접근 방식보다 뛰어난 성능을 보이며, 이벤트 시퀀스의 시간 역학을 더 잘 모델링하고 있음을 시사한다.
• 이상 탐지 과제에서, 예측 분포의 불확실성 추정을 활용해 희귀하거나 예상치 못한 이벤트를 효과적으로 식별한다.
• RNN과 가우시안 프로세스의 통합(WGP-LN) 및 RNN과 함수 분해의 통합(FD-Dir)은 분포 파라미터의 표현력 있고 부드러운 시간 진화를 가능하게 한다.
• 실증 결과는 모델들이 명시적인 불확실성 모델링을 유지하면서도 높은 예측 성능를 유지함을 보여주며, 이는 실세계 응용에서 매우 중요한 요소이다.