[논문 리뷰] Learning Long-Term Dependencies in Irregularly-Sampled Time Series

Mathias Lechner, Ramin Hasani|arXiv (Cornell University)|2020. 06. 08.

Model Reduction and Neural Networks참고 문헌 49인용 수 56

한 줄 요약

본 논문은 ODE-LSTMs를 소개한다. 이는 LSTMs의 연속 시간 확장으로, 기억을 시간-연속 상태와 분리하여 불규칙하게 샘플링된 데이터에서 장기 의존성을 신뢰성 있게 학습하도록 하며, ODE-RNN에서의 소실/발산 기울기 문제를 해결하고 다양한 작업에서 우수한 성능을 달성한다.

ABSTRACT

Recurrent neural networks (RNNs) with continuous-time hidden states are a natural fit for modeling irregularly-sampled time series. These models, however, face difficulties when the input data possess long-term dependencies. We prove that similar to standard RNNs, the underlying reason for this issue is the vanishing or exploding of the gradient during training. This phenomenon is expressed by the ordinary differential equation (ODE) representation of the hidden state, regardless of the ODE solver's choice. We provide a solution by designing a new algorithm based on the long short-term memory (LSTM) that separates its memory from its time-continuous state. This way, we encode a continuous-time dynamical flow within the RNN, allowing it to respond to inputs arriving at arbitrary time-lags while ensuring a constant error propagation through the memory path. We call these RNN models ODE-LSTMs. We experimentally show that ODE-LSTMs outperform advanced RNN-based counterparts on non-uniformly sampled data with long-term dependencies. All code and data is available at https://github.com/mlech26l/ode-lstms.

연구 동기 및 목표

• 장기 의존성을 가지는 불규칙 샘플링 시계열 모델링의 동기 부여.
• 학습 중 ODE-RNN이 소실/발산 기울기를 겪는 원인을 식별한다.
• 그래디언트 흐름을 보존하는 메모리 증강 연속 시간 RNN을 제안한다.
• 합성 데이터와 실제 데이터 작업 전반에 걸쳐 제안 모델의 경험적 우수성을 입증한다.

제안 방법

• LSTM의 메모리 셀과 게이팅을 유지하면서 ODE-RNN 경로를 통해 연속 시간 출력 동역학을 해결하여 ODE-LSTM을 제안한다.
• 일반적인 이산화 및 adjoint 학습 하에서 ODE-RNN이 소실/발산 기울기를 겪는다는 이론적 증명을 제공한다.
• LSMT 출력 계산에 시간 연속 흐름을 통합하여 임의의 시간 지연에 응답하면서도 안정된 기울기 전파를 유지한다.
• 합성 데이터와 실제 데이터에서 ODE-RNN, CT-RNN, GRU-ODE, CT-LSTM, GRU-D 등 광범위한 연속 시간 RNN 기준선과 ODE-LSTM을 비교한다.
• 비트 스트림 XOR 유사 작업, 활동 인식, 불규칙 시퀀스 MNIST, Walker2d 운동학에 걸친 경험적 결과를 제공한다.

실험 결과

연구 질문

• RQ1 불규칙하게 샘플링된 데이터에서 장기 의존성을 학습할 때 ODE-RNN이 기울기 소실/발산을 겪는가?
• RQ2 연속 시간 RNN에서 LSTM 유사 메모리를 통해 기억을 시간-연속 상태에서 분리하는 것이 안정적인 기울기 흐름을 가능하게 하는가?
• RQ3 ODE-LSTMs가 합성 및 실제 불규칙 시계열 벤치마크에서 기존의 연속 시간 RNN 변종보다 더 우수한가?
• RQ4 비균일 샘플링이 필요한 장기 의존성 학습 작업에서 제안된 모델의 성능은 어떤가?

주요 결과

• ODE-RNN 및 관련 연속 시간 RNN은 기울기 소실 또는 발산을 나타내어 장기 의존성 학습을 방해한다.
• ODE-LSTMs는 기억 경로를 통해 거의 일정한 기울기 흐름을 유지하여 불규칙 샘플링 데이터에서 장기 의존성 학습을 가능하게 한다.
• 합성 및 실제 작업 전체에서 ODE-LSTMs은 고급 연속 시간 RNN 변형을 일관되게 능가한다.
• 비트 스트림 XOR, 불규칙 MNIST, Walker2d 역학과 같은 작업에서 ODE-LSTMs가 우수한 성능을 달성한다.
• 이 아키텍처는 메모리 감소 없이 불규칙 샘플링을 효과적으로 처리하며, 다수의 감소 기반 기준선과 달리.