[논문 리뷰] Modeling The Intensity Function Of Point Process Via Recurrent Neural Networks

Shuai Xiao, Junchi Yan외 3명|arXiv (Cornell University)|2017. 05. 24.

Machine Learning in Materials Science인용 수 33

한 줄 요약

이 논문은 고정된 시간 간격에 맞춰 배경 역학을 캡처하는 데 사용되는 RNN과 이벤트 발생 시점에 맞춰 이력 영향을 모델링하는 데 사용되는 두 가지 별개의 순환 신경망(RNN)을 사용하여 포인트 프로세스의 강도 함수를 모델링하는 새로운 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이 방법은 실제 ATM 로그 데이터에서 이벤트 유형 및 타임스탬프 예측 작업에서 파라미터 모델인 하크스 프로세스와 RMTPP를 포함해 최신 기술 수준(SOTA) 성능을 달성하며, 특히 비선형성이 높고 복잡한 시나리오에서 뛰어난 성능을 보인다.

ABSTRACT

Event sequence, asynchronously generated with random timestamp, is ubiquitous among applications. The precise and arbitrary timestamp can carry important clues about the underlying dynamics, and has lent the event data fundamentally different from the time-series whereby series is indexed with fixed and equal time interval. One expressive mathematical tool for modeling event is point process. The intensity functions of many point processes involve two components: the background and the effect by the history. Due to its inherent spontaneousness, the background can be treated as a time series while the other need to handle the history events. In this paper, we model the background by a Recurrent Neural Network (RNN) with its units aligned with time series indexes while the history effect is modeled by another RNN whose units are aligned with asynchronous events to capture the long-range dynamics. The whole model with event type and timestamp prediction output layers can be trained end-to-end. Our approach takes an RNN perspective to point process, and models its background and history effect. For utility, our method allows a black-box treatment for modeling the intensity which is often a pre-defined parametric form in point processes. Meanwhile end-to-end training opens the venue for reusing existing rich techniques in deep network for point process modeling. We apply our model to the predictive maintenance problem using a log dataset by more than 1000 ATMs from a global bank headquartered in North America.

연구 동기 및 목표

• 제약 조건이 엄격하고 사전 정의된 강도 함수에 의존하는 파라미터 모델의 한계를 해결하기 위해.
• 기본적인 구조에 대한 사전 가정 없이 데이터에서 직접 강도 함수를 학습하는 유연한 비모수 프레임워크를 개발하기 위해.
• 시계열 특징(배경)과 이벤트 이력 의존성(자기 자극성)을 하나의 엔드 투 엔드 학습 가능한 모델로 통합하기 위해.
• 딥 러닝 기법을 활용할 수 있도록 강도 함수를 블랙박스 방식으로 모델링함으로써 복잡하고 고차원적인 이벤트 데이터에 대응하기 위해.
• 대규모 ATM 로그 데이터를 활용한 실제 예측 유지보수 작업에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 모델은 두 개의 병렬 RNN을 사용한다: 하나는 고정된 시간 간격에 맞춰진 시계열 특징을 처리하여 자발적인 배경 강도를 모델링한다.
• 다른 하나는 비동기적 이벤트 타임스탬프에 맞춰진 이벤트 시퀀스를 처리하여 이력 의존적 자극 효과를 모델링한다.
• 두 RNN의 출력을 융합하여 배경 추세와 이벤트 유도 동역학을 모두 반영하는 복합 강도 함수를 구성한다.
• 이벤트 유형과 타임스탬프에 대한 공동 예측 헤드를 사용하여 백프로파게이션을 통한 엔드 투 엔드 학습을 수행한다.
• 수동으로 설계된 파라미터 형태가 필요 없도록 하여, 강도 함수의 민감한 비모수적 모델링이 가능하다.
• 계층적 및 평탄한 이벤트 유형 예측 구조를 모두 지원하여 다중 수준 분류 작업에서 견고한 성능을 달성한다.

실험 결과

연구 질문

• RQ1 파라미터 강도 함수에 의존하지 않고도 딥 러닝 모델이 포인트 프로세스 모델링에서 배경 역학과 이력 의존 효과를 효과적으로 포착할 수 있는가?
• RQ2 이중 RNN 아키텍처는 하크스 프로세스와 RMTPP와 같은 전통적인 파라미터 모델에 비해 이벤트 유형 및 타임스탬프 예측에서 어떻게 성능을 냈는가?
• RQ3 고정되거나 수동으로 설계된 강도 형태를 가진 모델에 비해, 엔드 투 엔드 학습이 복잡한 실제 이벤트 데이터에서 성능 향상에 얼마나 기여하는가?
• RQ4 각각 시간 포인트와 이벤트에 맞춰진 별도의 RNN을 통해 배경과 이력 효과를 모델링함으로써 더 나은 표현 학습과 예측 정확도를 달성할 수 있는가?
• RQ5 제안된 프레임워크는 도메인 특화된 가정 없이 다양한 이벤트 유형으로 일반화되어 고성능을 유지할 수 있는가?

주요 결과

• 시계열 및 이벤트 시퀀스 RNN을 융합한 강도 RNN 모델은 테스트 세트에서 F1 스코어 0.825, MAE 4.13일을 기록하여 이벤트 유형 예측에서 최고 성능을 달성했다.
• 타임스탬프 예측에서 하크스 프로세스(MAE: 5.26일)와 로지스틱 기반 모델(MAE: 4.52일)을 크게 앞서며 시간 역학 모델링 능력이 뛰어나다는 것을 입증했다.
• 이벤트 시퀀스 RNN은 대부분의 지표에서 시계열 RNN을 능가했으며, 이는 연구 대상 데이터셋에서 이력 효과가 정확한 예측에 핵심적이라는 것을 시사한다.
• 서브타입 예측에서는 강도 RNN이 F1 스코어 0.684를 기록하여 RMTPP(0.584)와 하크스(0.467)를 크게 앞서며 복잡한 분류 작업에서의 강점을 입증했다.
• 메인 타입 분류에서는 평탄한 이벤트 유형 예측 아키텍처가 계층적 구조보다 더 우수했지만, 계층적 아키텍처는 다중 수준 감독을 활용하여 서브타입 예측 성능을 향상시켰다.
• 모든 평가 지표에서 최신 기술 수준 성능를 달성하여, 엔드 투 엔드로 암묵적으로 강도 함수를 학습하는 것이 실제 포인트 프로세스 모델링에 매우 효과적임을 확인했다.