[논문 리뷰] Learning Latent Process from High-Dimensional Event Sequences via Efficient Sampling

Qitian Wu, Zixuan Zhang외 3명|arXiv (Cornell University)|2019. 10. 28.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 고차원의 마킹된 이벤트 시계열에서 은닉된 시간적 동역학과 은닉된 관계 네트워크를 동시에 모델링하는 적대적 암시 학습 프레임워크인 LANTERN을 제안한다. 그래프-어텐션 기반의 은닉 강도 모델과 효율적인 랜덤 워크 샘플링, 시퀀스-투-시퀀스 판별기의 조합을 통해 LANTERN은 백만 마킹자 수준의 스케일에서도 선형적 확장성을 확보하면서도, 이벤트 예측 및 네트워크 복원에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We target modeling latent dynamics in high-dimension marked event sequences without any prior knowledge about marker relations. Such problem has been rarely studied by previous works which would have fundamental difficulty to handle the arisen challenges: 1) the high-dimensional markers and unknown relation network among them pose intractable obstacles for modeling the latent dynamic process; 2) one observed event sequence may concurrently contain several different chains of interdependent events; 3) it is hard to well define the distance between two high-dimension event sequences. To these ends, in this paper, we propose a seminal adversarial imitation learning framework for high-dimension event sequence generation which could be decomposed into: 1) a latent structural intensity model that estimates the adjacent nodes without explicit networks and learns to capture the temporal dynamics in the latent space of markers over observed sequence; 2) an efficient random walk based generation model that aims at imitating the generation process of high-dimension event sequences from a bottom-up view; 3) a discriminator specified as a seq2seq network optimizing the rewards to help the generator output event sequences as real as possible. Experimental results on both synthetic and real-world datasets demonstrate that the proposed method could effectively detect the hidden network among markers and make decent prediction for future marked events, even when the number of markers scales to million level.

연구 동기 및 목표

• 마킹자 간의 관계에 대한 사전 지식 없이도 고차원의 마킹된 이벤트 시계열에서 은닉된 시간적 동역학과 은닉된 의존성 네트워크를 모델링하는 데 도전한다.
• 기존 방법이 $O(n^2)$ 매개변수 복잡도로 인해 실패하는 희박한 고차원 이벤트 시계열을 모델링하는 데 있어 비가역성 문제를 해결한다.
• 최소한의 역사적 데이터만으로도 부분 관찰 상태에서 미래 이벤트(시점 및 마킹자)를 정확하게 예측할 수 있도록 한다.
• 마킹자 간의 기반이 되는 관계 네트워크를 높은 정밀도와 해석 가능성으로 복원한다.
• 최대 백만 개의 마킹자를 포함하는 시계열에 대해서도 확장 가능성을 확보하여 기존 방법의 지수적 확장 문제를 극복한다.

제안 방법

• 하나의 마킹자를 학습 가능한 임bedding 벡터로 모델링하는 바닥에서부터의 관점에서 이벤트 시계열 생성을 모방하는 생성자 모델을 제안한다.
• 명시적인 네트워크 구조 정보가 필요 없이 은닉된 구조적 강도를 추정하기 위해 그래프 기반 어텐션 메커니즘을 활용하여 은닉 의존성의 엔드 투 엔드 학습을 가능하게 한다.
• 구조적이고 계층적인 방식으로 다음 이벤트를 생성하기 위해 효율적인 랜덤 워크 기반 샘플링 전략을 도입하여 학습 안정성과 현실감을 향상시킨다.
• 시퀀스-투-시퀀스 판별기를 사용하여 역강화 학습을 통한 보상 신호 최적화를 수행함으로써, 명시적인 거리 측정 기반에 의존하지 않고도 고차원 이벤트 시계열 간의 효과적인 비교를 가능하게 한다.
• 생성자에서 다중 헤드 어텐션을 활용하여 마킹자 간의 은닉된 구조적 유사성을 더 잘 포착함으로써 네트워크 복원 성능을 향상시킨다.
• 학습을 위해 히우리스틱 보상 함수를 생성자에 도입하였지만, 분석 결과 전체 적대적 설정에 비해 성능이 열 劣하다.

실험 결과

연구 질문

• RQ1 사전 구조 지식 없이도 깊이 있는 생성 모델이 고차원 마킹된 이벤트 시계열에서 은닉된 시간적 포인트 프로세스와 은닉된 관계 네트워크를 효과적으로 학습할 수 있는가?
• RQ2 시계열에서 인접한 이벤트가 반드시 인과관계가 아니라는 암묵적 의존성의 과제를 어떻게 다룰 수 있는가?
• RQ3 다양한 보상 함수(예: 히우리스틱 vs. 적대적)가 생성된 시계열의 품질과 네트워크 복원에 미치는 영향은 어떠한가?
• RQ4 마킹자 수가 증가함에 따라 모델의 확장성은 어떻게 되는가? 특히 수백만 개의 이벤트 유형에서의 상황은 어떻게 되는가?
• RQ5 기존 베이스라인에 비해 미래 이벤트 예측과 네트워크 구조 복원 모두에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 모든 데이터셋에서 네트워크 복원의 F1 스코어가 최고로 기록되었으며, 다음으로 좋은 베이스라인(NETRATE 또는 KernelCascade) 대비 평균 14.9% 향상되었다.
• 시간 및 마킹자 예측에서 LANTERN은 NETRATE 및 KernelCascade를 크게 앞서며, 특히 시계열의 소수 부분만 관찰된 경우에 두드러진 성능을 보였다.
• LANTERN-RNN은 소규모 데이터셋에서 LANTERN-PR보다 더 좋은 성능을 보였지만, LANTERN-PR은 신뢰할 수 없는 히우리스틱 보상으로 인해 성능이 열 劣하여 적대적 보상 학습의 중요성을 시사한다.
• 마킹자 수가 100에서 100,000으로 증가함에 따라 LANTERN은 런타임에서 선형적 확장성을 보였고, 반면 NETRATE 및 KernelCascade는 지수적 증가를 보였다.
• 모델은 백만 마킹자 규모에서도 효과적으로 작동하며 런타임이 선형적으로 증가하여, 소셜 미디어나 도시 이동성 데이터와 같은 대규모 실세계 응용 분야에 적합함을 확인했다.
• 학습 곡선은 소규모 데이터셋에서는 안정적인 수렴을 보였고, 대규모 데이터셋에서는 거대한 마킹자 공간에서의 샘플링 랜덤성으로 인한 변동성이 관찰되었다.