[논문 리뷰] Modeling the intensity function of point process via recurrent neural networkss

Shuai Xiao, Junchi Yan외 3명|arXiv (Cornell University)|2017. 02. 04.

Machine Learning in Materials Science참고 문헌 39인용 수 50

한 줄 요약

이 논문은 배경 강도를 시간 색인 RNN으로 별도로 인코딩하고, 이벤트 색인 RNN으로 역사에 의존하는 영향을 별도로 인코딩함으로써 강도 함수를 모델링하는 하이브리드 RNN 아키텍처를 제안한다. 이는 정확한 타임스탬프 및 이벤트 유형 예측을 위한 엔드 투 엔드 학습을 가능하게 한다. 이 방법은 실세계 ATM 유지보수 로그 데이터셋에서 전통적인 파라미터 기반 포인트 프로세스 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Event sequence, asynchronously generated with random timestamp, is ubiquitous among applications. The precise and arbitrary timestamp can carry important clues about the underlying dynamics, and has lent the event data fundamentally different from the time-series whereby series is indexed with fixed and equal time interval. One expressive mathematical tool for modeling event is point process. The intensity functions of many point processes involve two components: the background and the effect by the history. Due to its inherent spontaneousness, the background can be treated as a time series while the other need to handle the history events. In this paper, we model the background by a Recurrent Neural Network (RNN) with its units aligned with time series indexes while the history effect is modeled by another RNN whose units are aligned with asynchronous events to capture the long-range dynamics. The whole model with event type and timestamp prediction output layers can be trained end-to-end. Our approach takes an RNN perspective to point process, and models its background and history effect. For utility, our method allows a black-box treatment for modeling the intensity which is often a pre-defined parametric form in point processes. Meanwhile end-to-end training opens the venue for reusing existing rich techniques in deep network for point process modeling. We apply our model to the predictive maintenance problem using a log dataset by more than 1000 ATMs from a global bank headquartered in North America.

연구 동기 및 목표

• 포인트 프로세스에서 임의의 타임스탬프를 가진 복잡하고 비동기적인 이벤트 시퀀스를 모델링하는 과제를 해결하기 위해.
• 포인트 프로세스 모델링에서 배경 강도(자발적 사건)와 이력에 의존하는 영향(반응적 사건)을 분리하기 위해.
• 사전 정의된 파라미터 형식에 의존하지 않고 강도 함수의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 딥 러닝 기법을 활용해 이벤트 데이터의 장거리 시간 의존성을 모델링하기 위해.
• 대규모 ATM 로그 데이터셋을 사용하여 실세계 예측 유지보수 과제에서 방법을 평가하기 위해.

제안 방법

• 배경 강도는 시간 색인 RNN을 사용해 모델링하며, 이를 표준 시계열 문제로 간주한다.
• 이력 효과는 이벤트 색인 RNN을 사용해 모델링하며, 유닛이 실제 이벤트 타임스탬프와 정렬되어 비동기적 동역학을 포착한다.
• 두 RNN은 통합된 강도 함수를 형성하기 위해 결합되며, 자발적 및 반응적 구성요소를 통합한다.
• 모델은 전용 출력 레이어를 통해 엔드 투 엔드 학습된 상태에서 이벤트 유형과 타임스탬프를 모두 예측한다.
• 아키텍처는 강도의 블랙박스 모델링을 허용하여 사전 정의된 파라미터 형식이 필요 없도록 한다.
• 엔드 투 엔드 학습은 기존의 딥 러닝 최적화 및 정규화 기법의 사용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이중 RNN 아키텍처가 포인트 프로세스 강도의 배경 및 이력에 의존하는 구성요소를 효과적으로 모델링할 수 있는가?
• RQ2 신경 강도 함수의 엔드 투 엔드 학습이 기존 파라미터 기반 모델에 비해 예측 성능을 향상시키는가?
• RQ3 수동으로 설계된 강도 함수에 의존하지 않고도 모델이 비동기적 이벤트 시퀀스의 장거리 시간 의존성을 포착할 수 있는가?
• RQ4 모델은 복잡한 이벤트 패턴을 가진 실세계 예측 유지보수 과제에 얼마나 잘 일반화되는가?
• RQ5 시간 색인 RNN과 이벤트 색인 RNN을 분리함으로써 모델링 정밀도가 얼마나 향상되는가?

주요 결과

• 제안된 모델은 전통적인 파라미터 기반 포인트 프로세스 모델에 비해 이벤트 유형 및 타임스탬프 예측에서 뛰어난 예측 성능을 달성했다.
• 이중 RNN 아키텍처는 이벤트 시퀀스에서 자발적 배경 활동과 반응적 이력 효과를 효과적으로 포착했다.
• 엔드 투 엔드 학습을 통해 모델은 명시적인 파라미터 가정 없이도 복잡한 강도 패턴을 학습할 수 있었다.
• 모델은 1000台 이상의 ATM에서 온 실세계 로그 데이터셋에서 강력한 일반화 성능을 보였으며, 예측 유지보수 분야에서 실용적 유용성을 시사했다.
• 시간 색인 및 이벤트 색인 RNN의 분리로 인해 비동기적 이벤트 동역학의 더 표현력 있는 모델링이 가능했다.
• 이 방법은 강도 함수의 블랙박스 모델링을 가능하게 하여 딥 러닝을 통한 더 rich한 표현의 열쇠를 열었다.