[논문 리뷰] Imputing Missing Events in Continuous-Time Event Streams

Hongyuan Mei, Guanghui Qin외 1명|arXiv (Cornell University)|2019. 05. 14.

Bayesian Modeling and Causal Inference인용 수 11

한 줄 요약

이 논문은 신경 하크스 과정을 기반으로 하여, 부분적으로 관측된 연속 시간 이벤트 스트림에서 누락된 이벤트를 보간하기 위해 학습 가능한 이중방향 연속 시간 LSTM을 활용한 입자 스무딩을 제안한다. 과거 및 미래의 관측된 이벤트에 조건을 두어, 입자 필터링보다 더 높은 정확도를 달성하며, 샘플된 입자들에 대한 공통 예측을 통해 베이즈 위험을 낮추고, 합성 및 실세계 데이터셋에서 일관된 성능 향상을 이룬다.

ABSTRACT

Events in the world may be caused by other, unobserved events. We consider sequences of events in continuous time. Given a probability model of complete sequences, we propose particle smoothing---a form of sequential importance sampling---to impute the missing events in an incomplete sequence. We develop a trainable family of proposal distributions based on a type of bidirectional continuous-time LSTM: Bidirectionality lets the proposals condition on future observations, not just on the past as in particle filtering. Our method can sample an ensemble of possible complete sequences (particles), from which we form a single consensus prediction that has low Bayes risk under our chosen loss metric. We experiment in multiple synthetic and real domains, using different missingness mechanisms, and modeling the complete sequences in each domain with a neural Hawkes process (Mei & Eisner 2017). On held-out incomplete sequences, our method is effective at inferring the ground-truth unobserved events, with particle smoothing consistently improving upon particle filtering.

연구 동기 및 목표

• 부분적으로 관측된 연속 시간 이벤트 스트림에서 관측되지 않은 이벤트를 추론하는 문제에 대응하기 위해.
• 과거 및 미래의 관측 자료를 모두 활용하여 더 정확한 보간을 위한 방법을 개발하기 위해.
• 다수의 입자 샘플에서 공통 예측을 형성하여, 최소 베이즈 위험(MBR) 디코딩을 통해 이벤트 보간의 베이즈 위험을 감소시키기 위해.
• 누락되지 않은 데이터(MNAR) 설정을 포함한 다양한 누락 메커니즘 하에서도 효과적인 추론을 가능하게 하기 위해.
• 복잡한 신경 포인트 프로세스 모델에서 순차적 중요도 샘플링을 위한 확장 가능하고 학습 가능한 제안 분포를 제공하기 위해.

제안 방법

• 과거 및 미래의 관측된 이벤트에 조건을 두어 제안 품질을 향상시키는 순차적 중요도 샘플링 방법으로 입자 스무딩을 제안한다.
• 완전한 이벤트 시계열의 공동 가능도를 모델링하기 위해 이중방향 연속 시간 LSTM을 도입하여, 미래의 맥락이 제안에 영향을 주도록 한다.
• 이중방향 LSTM 기반의 학습 가능한 제안 분포를 사용하여, 누락된 이벤트의 후행 분포를 반영하는 일관된 입자 시계열을 생성한다.
• 입자에 중요도 가중치를 적용하고, 최적 운반 비용 손실을 기반으로 한 최소 베이즈 위험(MBR) 디코딩을 통해 공통 재구성 예측을 선택한다.
• 전체 이벤트의 삽입 및 삭제를 允허하는 최적 운반 거리 간격을 사용하여 이벤트 시계열 간 정확한 정렬을 위한 동적 프로그래밍을 적용한다.
• 완전한 시계열을 생성하는 데 사용되는 신경 하크스 과정을 기반으로 하여, 제안 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 이중방향 이벤트 시계열 모델링이 단방향 접근법 대비 보간된 누락 이벤트의 품질을 향상시키는가?
• RQ2 학습 가능한 제안 분포를 갖춘 입자 스무딩이 다양한 누락 메커니즘 하에서 보간 오차를 얼마나 효과적으로 감소시키는가?
• RQ3 제안 분포에 미래 관측 자료를 통합함으로써 연속 시간 이벤트 스트림에서 후행 분포 근사가 얼마나 향상되는가?
• RQ4 입자 앙상블에서의 공통 예측이 단일 샘플 추정치보다 더 정확하고 강건한 보간을 가능하게 하는가?
• RQ5 정확도 및 효율성 측면에서 입자 필터링 및 멜로프리스-하스팅스와 같은 대안적 추론 방법에 비해 제안 방법은 어떻게 비교되는가?

주요 결과

• 입자 스무딩은 모든 합성 및 실세계 데이터셋에서 입자 필터링을 일관되게 능가하며, 제안 분포에 미래 맥락을 활용함으로써 유의미한 이점을 보여준다.
• 학습 가능한 이중방향 연속 시간 LSTM을 사용한 제안 생성은 더 일관되고 정확한 입자 샘플을 생성하여 보간 품질을 향상시킨다.
• 최소 베이즈 위험 디코딩을 통해 형성된 공통 예측은 개별 입자나 표준 필터링 기반 기준보다 진짜 시계열과의 평균 거리가 작다.
• 이벤트 삽입 및 삭제를 허용하는 제안된 최적 운반 거리 간격은 시계열 수준의 보간 품질 평가에 유효하고 효과적인 메트릭이다.
• 이 방법은 누락되지 않은 데이터(MNAR)를 포함한 다양한 누락 메커니즘 하에서도 강건하며, 누락 과정에 대한 명시적 지식 없이도 성능을 유지한다.
• 제안 네트워크의 엔드 투 엔드 훈련은 특히 누락 이벤트가 흔한 저강도 이벤트 영역에서 보간 정확도를 크게 향상시킨다.