[논문 리뷰] Discrete Event, Continuous Time RNNs

Michael C. Mozer, Denis Kazakov외 1명|arXiv (Cornell University)|2017. 10. 11.

Network Security and Intrusion Detection참고 문헌 43인용 수 30

한 줄 요약

이 논문은 시간 국소성, 위치 및 척도 동질성, 척도 상호의존성의 네 가지 핵심 인도적 편향을 통합함으로써 이벤트 시퀀스 모델링을 위한 목적으로 설계된 연속시간 게이팅 순환 유닛(CT-GRU)을 소개한다. 이는 이산적인 시간 단위가 아니라 내재된 감쇠 동역학을 통해 시간을 모델링함으로써 표준 GRU와 동등한 성능을 11개의 다양한 데이터 세트에서 달성하며, 이는 연속시간 동역학이 정확도를 희생시키지 않고도 순차적 모델링에서 효과적이고 강력할 수 있음을 보여준다.

ABSTRACT

We investigate recurrent neural network architectures for event-sequence processing. Event sequences, characterized by discrete observations stamped with continuous-valued times of occurrence, are challenging due to the potentially wide dynamic range of relevant time scales as well as interactions between time scales. We describe four forms of inductive bias that should benefit architectures for event sequences: temporal locality, position and scale homogeneity, and scale interdependence. We extend the popular gated recurrent unit (GRU) architecture to incorporate these biases via intrinsic temporal dynamics, obtaining a continuous-time GRU. The CT-GRU arises by interpreting the gates of a GRU as selecting a time scale of memory, and the CT-GRU generalizes the GRU by incorporating multiple time scales of memory and performing context-dependent selection of time scales for information storage and retrieval. Event time-stamps drive decay dynamics of the CT-GRU, whereas they serve as generic additional inputs to the GRU. Despite the very different manner in which the two models consider time, their performance on eleven data sets we examined is essentially identical. Our surprising results point both to the robustness of GRU and LSTM architectures for handling continuous time, and to the potency of incorporating continuous dynamics into neural architectures.

연구 동기 및 목표

• 다양한 시간 척도와 비균일한 이벤트 간격을 가진 이벤트 시퀀스를 모델링하는 데 도전하는 것.
• 시간 국소성, 위치 및 척도 동질성, 척도 상호의존성 등의 도메인 특화 인도적 편향을 RNN 아키텍처에 통합하는 것.
• 시간 스탬프를 외부 입력이 아닌 내재된 동역학을 통해 절대 및 상대적 시간 스탬프를 자연스럽게 처리할 수 있는 연속시간 RNN 변형을 개발하는 것.
• 특수화된 연속시간 모델링이 실제 세계의 이벤트 시퀀스 작업에서 표준 RNN의 성능을 향상시키거나 동등하게 유지할 수 있는지 평가하는 것.

제안 방법

• CT-GRU는 게이트를 메모리의 시간 척도 선택으로 해석함으로써 은닉 상태에 여러 시간 척도가 동시에 존재하도록 확장한다.
• 시간 스탬프가 은닉 상태의 감쇠 동역학을 이끌며, 각 시간 척도는 게이트 값에 의해 결정되는 지수 감쇠 상수로 제어된다.
• 모델은 은닉 상태가 상미분방정식(OED) 시스템을 통해 연속적으로 변화하는 연속시간 공식화를 사용하며, 시간 스탬프가 감쇠 속도를 조절한다.
• 모델은 정보 저장 및 검색을 위한 시간 척도에 대한 맥락 기반 선택을 수행함으로써 시간 패턴에 동적으로 적응할 수 있다.
• 모델은 시간에 따른 역전파를 통해 훈련되며, ODE의 애드조인 감도 방법을 사용하여 기울기를 계산한다.
• 모델은 아키텍처에 의해 고정되는 것이 아니라 학습을 통해 동적으로 시간 척도 선택이 가능하도록 GRU를 일반화한다.

실험 결과

연구 질문

• RQ1 명시적으로 다중 시간 척도를 모델링하는 연속시간 RNN 아키텍처가 이벤트 시퀀스 작업에서 표준 RNN을 능가할 수 있는가?
• RQ2 시간 국소성 및 척도 동질성 등의 인도적 편향이 복잡한 시간 역학을 가지는 이벤트 시퀀스에서 성능 향상에 얼마나 기여하는가?
• RQ3 내재된 감쇠 동역학을 통해 시간을 모델링하면 외부 입력으로서의 시간을 다루는 표준 RNN과 동등한 성능을 낼 수 있는가?
• RQ4 시간 내의 척도 상호작용은 이벤트 시퀀스에서 장기 및 단기 의존성 모델링에 어떻게 영향을 미치는가?

주요 결과

• CT-GRU는 시간 처리 방식이 본질적으로 다른데도 불구하고 11개의 다양한 데이터 세트에서 표준 GRU와 거의 동일한 성능를 달성한다.
• 모델은 연속시간 동역학과 다중 척도 메모리 메커니즘을 통해 시간 국소성, 위치 동질성, 척도 동질성, 척도 상호의존성을 성공적으로 통합한다.
• CT-GRU와 GRU 간의 성능 동등성은 표준 RNN, 예를 들어 GRU나 LSTM가 연속시간 입력에 대해 강건함을 시사하며, 특수화된 아키텍처가 필요하지 않다는 것을 의미한다.
• 결과는 연속시간 동역학이 예측 정확도를 손상시키지 않고 RNN에 효과적으로 통합될 수 있음을 보여주며, 순차적 모델링에서 ODE 기반 공식화의 활용을 지지한다.
• CT-GRU는 시간을 은닉 상태 동역학의 내재된 성질로 모델링할 수 있으며, 성능 저하 없이도 외부 입력 특성으로서의 시간을 처리할 수 있음을 보여준다.