[논문 리뷰] User-Dependent Neural Sequence Models for Continuous-Time Event Data

Alex Boyd, Robert Bamler외 2명|arXiv (Cornell University)|2020. 11. 06.

Machine Learning in Healthcare인용 수 4

한 줄 요약

이 논문은 변분 추론과 전문가 혼합 기법을 융합하여 개인화된 잠재 표현을 학습하는 연속 시간 이벤트 데이터를 위한 사용자 의존 신경 시퀀스 모델을 제안한다. 이 방법은 일반화를 위해 추론을 약간 단순화함으로써 네 가지 실세계 데이터셋에서 로그우도, 다음 이벤트 순위 매기기, 소스 식별 등 다양한 지표에서 예측 성능을 향상시킨다.

ABSTRACT

Continuous-time event data are common in applications such as individual behavior data, financial transactions, and medical health records. Modeling such data can be very challenging, in particular for applications with many different types of events, since it requires a model to predict the event types as well as the time of occurrence. Recurrent neural networks that parameterize time-varying intensity functions are the current state-of-the-art for predictive modeling with such data. These models typically assume that all event sequences come from the same data distribution. However, in many applications event sequences are generated by different sources, or users, and their characteristics can be very different. In this paper, we extend the broad class of neural marked point process models to mixtures of latent embeddings, where each mixture component models the characteristic traits of a given user. Our approach relies on augmenting these models with a latent variable that encodes user characteristics, represented by a mixture model over user behavior that is trained via amortized variational inference. We evaluate our methods on four large real-world datasets and demonstrate systematic improvements from our approach over existing work for a variety of predictive metrics such as log-likelihood, next event ranking, and source-of-sequence identification.

연구 동기 및 목표

• 기존의 신경 마킹된 포인트 프로세스 모델이 모든 이벤트 시퀀스가 동일한 글로벌 분포에서 유래된다고 가정함으로써 사용자 간 이질성을 忽시하는 한계를 해결하기 위해.
• 개인화된 표현을 통합하여 개인 사용자의 행동 특성을 반영함으로써 연속 시간 이벤트 데이터에서의 예측 성능을 향상시키기 위해.
• 학습된 사용자 임베딩 기반으로 추론을 약간 단순화함으로써 새로운 사용자에 대해 재학습 없이도 효율적인 추론을 가능하게 하기 위해.
• 다양한 실세계 데이터셋에서 로그우도, 다음 이벤트 예측, 시퀀스 소스 식별 등에 이르기까지 체계적인 성능 향상을 입증하기 위해.
• 사용자 특화 모델링을 통한 순차적 추천, 수요 예측, 이상 탐지와 같은 개인화 작업의 가능성을 탐색하기 위해.

제안 방법

• 사용자 신원을 나타내는 잠재 변수를 신경 마킹된 포인트 프로세스 모델에 추가하며, 이는 사용자별 전문가의 혼합으로 모델링된다.
• 이벤트 시퀀스로부터 분리된 사용자별 임베딩을 학습하기 위해 베타-VAE 목적함수를 사용하는 변분 autoencoder(VAE) 프레임워크를 활용한다.
• 테스트 시 사용자별 잠재 코드를 추론하기 위해 약간 단순화된 변분 추론을 적용하여, 새로운 사용자에 대해 재학습 없이도 제로샷 개인화를 가능하게 한다.
• 각 전문가가 특정 사용자 또는 사용자 클러스터의 특성적인 이벤트 역학을 모델링하는 전문가 혼합 아키텍처를 활용한다.
• 관측된 이벤트 시퀀스의 로그우도에 대한 변분 하한을 최대화하기 위해 확률적 경사 하강법을 통해 모델을 엔드 투 엔드로 훈련한다.
• 이벤트 임베딩과 RNN 기반 강도 함수를 사용하여 과거 이력과 사용자 신원에 기반한 미래 이벤트의 시간에 따라 변하는 조건부 강도를 모델링한다.

실험 결과

연구 질문

• RQ1 신경 마킹된 포인트 프로세스 모델이 연속 시간 이벤트 시퀀스에서 사용자별 행동 패턴을 명시적으로 모델링할 수 있는가?
• RQ2 사용자 의존 잠재 표현을 통합함으로써 사용자 무관 모델 대비 예측 성능이 얼마나 향상되는가?
• RQ3 약간 단순화된 변분 추론을 통해 재학습 없이도 새로운 사용자에 대해 효율적인 개인화를 얼마나 잘 달성할 수 있는가?
• RQ4 단일 글로벌 모델 대비 전문가 혼합 기법이 사용자 간 이질성을 더 잘 포착하는가?
• RQ5 로그우도, 다음 이벤트 순위 매기기, 소스 식별 등 다양한 지표에서 제안된 모델의 성능은 어떠한가?

주요 결과

• 제안된 사용자 의존 모델은 기존의 신경 MTPP 기반 모델 대비 네 가지 실세계 데이터셋에서 모두 검증 데이터에 대한 로그우도에서 체계적인 향상을 보였다.
• 특히 시퀀스 초반에 사용자별 맥락이 핵심적인 상황에서 다음 이벤트 예측 정확도에서 사용자 무관 기반 모델을 뚜렷이 능가하였다.
• 학습된 사용자 임베딩이 구분 가능한 행동 패턴을 포착하고 있음을 시사함으로써 시퀀스 소스 식별 성능에서도 뛰어난 성능을 보였다.
• 학습을 안정화시키기 위해 β < 1인 베타-VAE의 사용이 필수적이었으며, 이는 순차적 VAE와 유사한 표현 학습 과제를 반영한다.
• 약간 단순화된 추론을 통해 새로운 사용자에 대해 제로샷 개인화를 가능하게 하여, 실전 환경에서 재학습이나 미세조정이 필요 없도록 하였다.
• 이러한 접근은 순차적 추천, 수요 예측, 사용자 특화 이상 탐지와 같은 개인화 응용 분야에 새로운 가능성을 열어준다.