[논문 리뷰] Joint Modeling of Event Sequence and Time Series with Attentional Twin Recurrent Neural Networks

Shuai Xiao, Junchi Yan외 4명|arXiv (Cornell University)|2017. 03. 24.

Functional Brain Connectivity Studies참고 문헌 43인용 수 27

한 줄 요약

이 논문은 주로 이벤트 시퀀스와 시계열 데이터를 동시에 모델링하기 위해 이중 RNN 아키텍처를 사용하는 해석 가능한 주의 메커니즘을 통합한 ATRPP 모델을 제안한다. 이 모델은 이질적인 이벤트와 시계열 데이터를 병행 처리하는 두 개의 순환 신경망(하나는 이질적 이벤트용, 다른 하나는 시계열 데이터용)을 통해 향후 이벤트 유형과 시점 예측을 수행한다. 모델은 합성 및 실세계 데이터셋(의료 및 시스템 모니터링 포함)에서 최신 기술 수준의 성능를 달성하며, 주의 메커니즘을 통해 해석 가능성까지 향상시킨다.

ABSTRACT

A variety of real-world processes (over networks) produce sequences of data whose complex temporal dynamics need to be studied. More especially, the event timestamps can carry important information about the underlying network dynamics, which otherwise are not available from the time-series evenly sampled from continuous signals. Moreover, in most complex processes, event sequences and evenly-sampled times series data can interact with each other, which renders joint modeling of those two sources of data necessary. To tackle the above problems, in this paper, we utilize the rich framework of (temporal) point processes to model event data and timely update its intensity function by the synergic twin Recurrent Neural Networks (RNNs). In the proposed architecture, the intensity function is synergistically modulated by one RNN with asynchronous events as input and another RNN with time series as input. Furthermore, to enhance the interpretability of the model, the attention mechanism for the neural point process is introduced. The whole model with event type and timestamp prediction output layers can be trained end-to-end and allows a black-box treatment for modeling the intensity. We substantiate the superiority of our model in synthetic data and three real-world benchmark datasets.

연구 동기 및 목표

• 실세계 시스템에서 자주 공존하는 이질적 이벤트 시퀀스와 균일하게 샘플링된 시계열 데이터를 동시에 모델링하는 데 있어 기존의 단일 모델링 접근 방식의 격차를 해소하기 위해.
• 강한 가정(예: 하크스 과정에서의 자가흥발성)에 의존하는 파라미터 모델의 한계를 극복하고, 복잡한 동적 특성을 유연하게 포착할 수 있도록 하기 위해.
• 사전 구조적 가정 없이 동적 강도 함수를 학습할 수 있는 엔드 투 엔드로 훈련 가능한 비모수적 모델을 개발하기 위해.
• 예측 과정에서 중요한 과거 이벤트와 시계열 특징을 강조하는 주의 메커니즘을 통합하여 모델의 해석 가능성 향상시키기 위해.

제안 방법

• 모델은 두 개의 병렬 LSTM 네트워크를 사용한다: 하나는 이벤트 시퀀스(이벤트 유형과 시점)를 처리하고, 다른 하나는 시계열 데이터를 처리한다.
• 시제점 프로세스의 강도 함수는 두 RNN의 공동 은닉 상태를 기반으로 하는 비선형적이고 학습 가능한 함수로 모델링되며, 이는 동적이고 맥락 인식 가능한 강도 예측을 가능하게 한다.
• 이벤트 시퀀스 RNN에 주의 메커니즘을 적용하여 다음 이벤트 예측에 가장 관련성이 높은 과거 이벤트를 식별하고 가중치를 할당함으로써 해석 가능성 향상.
• 두 개의 출력 헤드를 사용해 엔드 투 엔드로 훈련되며, 하나는 다음 이벤트 유형 예측, 다른 하나는 다음 이벤트 시점 예측.
• 강도 함수는 시간을 거슬러 내려가는 backpropagation를 통해 암묵적으로 학습되며, 명시적인 파라미터 형식의 가정을 피한다.
• 모델은 합성 데이터와 세 개의 실세계 데이터셋(MIMIC-III(전자 건강 기록), IBM ATR(시스템 장애 로그), MemeTracker(소셜 미디어 이벤트))에서 평가된다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 이질적 이벤트 시퀀스와 시계열 데이터를 동시에 모델링하여 별도의 모델링 접근 방식보다 예측 정확도를 향상시킬 수 있는가?
• RQ2 주목적 메커니즘이 통합된 이중-RNN 아키텍처가 이벤트 시퀀스와 배경 시계열 간의 복잡하고 동적인 상호작용을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 주목적 메커니즘이 예측 과정에서 중요한 이벤트와 시계열 특징을 강조함으로써 모델의 해석 가능성에 얼마나 기여하는가?
• RQ4 제안된 모델이 기존의 파라미터 모델 및 반파라미터 모델보다 이벤트 유형 및 시점 예측 과제에서 모두 슈퍼리어한 성능를 보이는가?
• RQ5 모델이 실세계 임상 및 시스템 모니터링 데이터로부터 의미 있는 잠재적 네트워크 구조(예: 질병 진행 패턴)를 드러낼 수 있는가?

주요 결과

• ATRPP는 MIMIC-III, IBM ATR, MemeTracker 데이터셋에서 모두 모든 베이스라인 모델보다 이벤트 유형 및 시점 예측에서 뛰어난 성능를 보였다.
• MIMIC-III 데이터셋에서 ATRPP는 이벤트 유형 예측의 최고 F1 스코어와 시점 예측의 최저 평균 절대 오차(MAE)를 기록했으며, RMTPP 및 하크스 과정 베이스라인에 비해 유의미하게 뛰어난 성능를 보였다.
• 주목적 메커니즘이 임상적으로 의미 있는 패턴을 성공적으로 식별했다: 예를 들어, 알코올 관련 질환은 요로 카테터 반응과 위장관 출혈 위험 증가와 관련이 있었다.
• 모델은 질병 진행 경로를 드러냈다: 예를 들어 기도지혈성 질환에서 심실성 빈맥과 급성 장내 혈류저하로의 진행 경로로, 임상적으로 타당한 순서를 시사했다.
• 주목적 유도된 방향성 네트워크에서의 커뮤니티 탐지 결과 응집된 클러스터가 관찰되어, 모델이 데이터 내 잠재적 상관관계를 효과적으로 포착하고 있음을 시사했다.
• 환자 방문 데이터가 희박한 상황에서도 ATRPP는 고차수 마르코프 체인보다 뛰어난 성능를 보였으며, 이는 데이터 희박성에 대한 강건성을 시사했다.