[논문 리뷰] Modeling Irregular Time Series with Continuous Recurrent Units

Mona Schirmer, Mazin Eltayeb외 2명|arXiv (Cornell University)|2021. 11. 22.

Machine Learning in Healthcare참고 문헌 22인용 수 8

한 줄 요약

이 논문은 연속-이산 칼만 필터를 사용하여 정확하고 닫힌 형태의 은닉 상태 전파를 가능하게 하는 선형 확률 미분 방정식과 통합된 연속 순환 유닛(CRUs)이라는 신경망 아키텍처를 제안한다. 이는 비정규 간격으로 샘플링된 시계열 데이터를 모델링하는 데에 효과적이며, 신경 ODE 기반 모델보다 뛰어난 보간 성능을 보이며, 불확실성 인식 게이팅을 통해 노이즈가 섞이거나 부분적으로 관측된 입력을 처리할 수 있다. 또한 빠른 구현(f-CRU)을 통해 효율적인 훈련을 가능하게 한다.

ABSTRACT

Recurrent neural networks (RNNs) are a popular choice for modeling sequential data. Modern RNN architectures assume constant time-intervals between observations. However, in many datasets (e.g. medical records) observation times are irregular and can carry important information. To address this challenge, we propose continuous recurrent units (CRUs) -- a neural architecture that can naturally handle irregular intervals between observations. The CRU assumes a hidden state, which evolves according to a linear stochastic differential equation and is integrated into an encoder-decoder framework. The recursive computations of the CRU can be derived using the continuous-discrete Kalman filter and are in closed form. The resulting recurrent architecture has temporal continuity between hidden states and a gating mechanism that can optimally integrate noisy observations. We derive an efficient parameterization scheme for the CRU that leads to a fast implementation f-CRU. We empirically study the CRU on a number of challenging datasets and find that it can interpolate irregular time series better than methods based on neural ordinary differential equations.

연구 동기 및 목표

• 균일한 시간 간격을 가정하고 시간 연속성을 상실하는 이산 RNN의 한계를 해결하기 위해.
• 은닉 상태의 진동을 연속 시간 역학으로 모델링하여 비정규 관측 간격을 자연스럽게 처리할 수 있는 순환 아키텍처를 개발하기 위해.
• 칼만 필터를 사용해 게이팅 메커니즘에 불확실성 정량화를 통합하여 노이즈가 섞이거나 부분적으로 관측된 입력을 최적으로 통합할 수 있도록 하기 위해.
• 상태 전파 및 업데이트에 대해 닫힌 형태의 해를 확보하여 수치적 ODE 해법기를 피하고 훈련 시간을 단축시키기 위해.

제안 방법

• CRU는 은닉 상태 진동을 선형 확률 미분 방정식(SDE)을 사용해 모델링하여 관측 간 시간 연속성을 보장한다.
• 칼만 필터는 상태 전파 및 관측 통합에 대한 해석적 해를 제공하여 수치 근사 없이 정확한 계산을 가능하게 한다.
• 에코더-디코더 프레임워크는 입력 관측을 SDE에 의해 지배되는 잠재 공간으로 매핑하며, 칼만 필터를 사용해 각 관측 시점에서 잠재 상태를 갱신한다.
• 전이 행렬의 새로운 고유분해 기반 파arameterization은 더 빠른 구현인 f-CRU를 가능하게 하여 계산 오버헤드를 감소시킨다.
• 게이팅 메커니즘은 확률론적으로 기반을 두며, 칼만 이득을 사용해 관측의 불확실성과 신뢰도에 따라 새로운 관측을 최적의 가중치로 통합한다.
• 아키텍처는 불확실성 인식 추론을 지원하여, 입력 품질과 관측 빈도에 따라 예측에 대한 신뢰도를 동적으로 조정할 수 있다.

실험 결과

연구 질문

• RQ1 순환 신경망이 은닉 상태의 시간 연속성을 유지하면서 비정규 간격으로 샘플링된 시계열 데이터를 효과적으로 모델링할 수 있는가?
• RQ2 연속-이산 칼만 필터를 통합함으로써 신경 ODE 기반 모델에 비해 보간 정확도가 얼마나 향상되는가?
• RQ3 불확실성 인식 게이팅을 통해 CRU가 노이즈가 섞이거나 부분적으로 관측된 입력을 얼마나 잘 처리할 수 있는가?
• RQ4 칼만 필터의 닫힌 형태 해가 기존 방법에서 사용하는 수치적 ODE 해법기보다 더 빠른 훈련을 가능하게 하는가?
• RQ5 CRU는 헬스케어, 기후 데이터, 이미지 생성과 같은 다양한 도메인에서 일반화 가능한가?

주요 결과

• 진자 각도 예측에서 CRU는 테스트 MSE 0.996 × 10⁻³을 기록하여, f-CRU(1.386 × 10⁻³)와 GRU-ODE-B(9.144 × 10⁻³)를 포함한 모든 베이스라인을 압도했다.
• PhysioNet 데이터셋에서 CRU는 시퀀스 외삽 작업에서 가장 낮은 테스트 오차를 기록하여 장기 예측 능력이 뛰어나다는 것을 입증했다.
• USHCN 기후 데이터에서 CRU는 특히 희소 관측 조건에서 외삽 작업에서 최고의 성능을 보였다.
• 희소 관측 조건(예: 80% 희소성)에서 칼만 이득 노름이 크게 감소하여, 모델이 불완전하거나 노이즈가 섞인 입력에 대해 낮은 가중치를 할당한다는 점을 확인했다.
• f-CRU는 GRU-ODE-B(60 sec/epoch)와 Latent ODE(52 sec/epoch)보다 빠른 추론 시간(29 sec/epoch)을 기록하여 고유분해 기반 파arameterization의 효율성을 입증했다.
• 모델는 부분 관측에 대해 뛰어난 강건성을 보였으며, 희소 관측 조건에서 칼만 이득 노름이 낮아지는 경향을 보여, 적응적인 불확실성 처리 능력을 확인했다.