[논문 리뷰] Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers

Albert Gu, Isys Johnson외 5명|arXiv (Cornell University)|2021. 10. 26.

Neural Networks and Applications인용 수 143

한 줄 요약

이 논문은 Linear State-Space Layers(LSSLs)를 제시하여 순환, 컨볼루션, 및 연속 시간 모델을 통합하고, 긴 범위의 기억 및 상태 유지 가능한 병렬 계산을 제공하며, 매우 긴 시계열 작업에서 최첨단 결과를 달성한다.

ABSTRACT

Recurrent neural networks (RNNs), temporal convolutions, and neural differential equations (NDEs) are popular families of deep learning models for time-series data, each with unique strengths and tradeoffs in modeling power and computational efficiency. We introduce a simple sequence model inspired by control systems that generalizes these approaches while addressing their shortcomings. The Linear State-Space Layer (LSSL) maps a sequence $u \\mapsto y$ by simply simulating a linear continuous-time state-space representation $\\dot{x} = Ax + Bu, y = Cx + Du$. Theoretically, we show that LSSL models are closely related to the three aforementioned families of models and inherit their strengths. For example, they generalize convolutions to continuous-time, explain common RNN heuristics, and share features of NDEs such as time-scale adaptation. We then incorporate and generalize recent theory on continuous-time memorization to introduce a trainable subset of structured matrices $A$ that endow LSSLs with long-range memory. Empirically, stacking LSSL layers into a simple deep neural network obtains state-of-the-art results across time series benchmarks for long dependencies in sequential image classification, real-world healthcare regression tasks, and speech. On a difficult speech classification task with length-16000 sequences, LSSL outperforms prior approaches by 24 accuracy points, and even outperforms baselines that use hand-crafted features on 100x shorter sequences.

연구 동기 및 목표

• 장기 시퀀스를 위해 RNN, CNN, 신경 미분방정식의 강점을 결합한 통합 시퀀스 모델의 필요성과 동기를 제시한다.
• 연산 및 분석가능한 이산화 선형 상태공간 시스템으로서 Linear State-Space Layers(LSSLs)를 정의하고 분석하며, 이는 순환 계층이나 컨볼루셔널 계층처럼 동작할 수 있다.
• HiPPO 기반의 구조화된 A 행렬을 통해 연속시간 기억화를 도입하여 장기 기억을 가능하게 한다.
• 학습 및 추론을 위한 효율적인 접근법을 개발하고, Krylov/FFT 계산을 용이하게 하는 구조화된 행렬을 포함한다.
• 비전, 헬스케어, 음성 작업의 매우 긴 시퀀스를 다루는 벤치마크에서 LSSL이 최첨단 성능을 달성한다는 것을 보여준다.

제안 방법

• LSSL을 u(t) -> y(t)의 시퀀스 맵으로 정의하며, dot{x}=Ax+Bu 및 y=Cx+Du를 만족하는 이산화된 선형 상태공간 모델을 사용한다.
• LSSL의 세 가지 관점을 제시한다: 순환형(시간에 따른 상태 업데이트), 컨볼루셔널(Krylov 유사 커널 표현), 연속시간(미분방정식) 형태.
• 안정적인 이산 시간 업데이트를 얻기 위해 이중선형(bilinear) 이산화(alpha=1/2)을 사용하여 x_t = Ã x_{t-1} + B̄ u_t, y_t = C x_t + D u_t를 얻는다.
• HiPPO 기반의 구조화된 A(LRW/근사 가능 분리)와 함께 HiPPO 기반 기억 연산자를 활용하여 원리적인 연속시간 기억화와 장기 의존성을 가능하게 한다.
• 구조화된 A 행렬을 가진 Krylov 함수 계산을 위한 계산적으로 효율적인 알고리즘을 제안하여 거의 선형 시간 및 병렬 학습을 가능하게 한다.
• 정규화와 잔차 연결을 활용하여 LSSL 층을 쌓아 심층 구조를 형성한다.
• Δt(학습 시간 척도)와 구조화된 A의 중요성을 입증하는 분석(앱레이션)을 제공하고, 테스트 시 시간 척도 변화에 대한 견고함을 시연한다.

실험 결과

연구 질문

• RQ1 단일 선형 상태공간 형식이 시계열 데이터에 대해 RNN, CNN, 연속시간 모델의 능력을 모방하고 통합할 수 있는가?
• RQ2 학습과 추론의 효율성을 유지하면서 어떻게 A와 Δt를 설계하여 장기 기억을 가능하게 할 수 있는가?
• RQ3 HiPPO에서 영감을 받은 구조화된 A 행렬이 LSSL 내의 연속시간 기억화를 가능하게 하고 긴 의존성 모델링을 향상시키는가?
• RQ4 다양한 도메인(비전, 헬스케어, 음성)에서 매우 긴 시퀀스에 대해 스택된 LSSL이 최첨단 성능을 달성하는가?

주요 결과

• LSSL은 컨볼루션을 연속시간 도메인으로 일반화하고 순환형에 준하는 상태 유지 추론을 제공한다.
• HiPPO 구조화된 A를 사용하면 LSSL이 장기 의존성을 기억하고 기억화 척도와 시간 척도를 학습하도록 한다.
• LSSL은 순차 이미지 분류 벤치마크(예: 순차 CIFAR) 및 장기간 시퀀스를 가진 헬스케어 회귀 작업에서 최첨단 결과를 달성하고 RMSE를 크게 줄인다.
• 매우 긴 음성 시퀀스(길이 16000)에서 LSSL은 기존 방법보다 정확도 20포인트 이상 우수하고, 더 짧은 입력에서 손으로 설계된 특징을 사용하는 baselines를 이긴다.
• 고정된 Δt 또는 학습된 Δt는 시간척도 적응을 가능하게 하며 테스트 시 변화에 대한 강건성도 포함하고, Δt 학습은 보완적 이점을 제공한다.
• 심층 네트워크로 학습되고 스택된 LSSL은 이전 최첨단 모델보다 더 적은 매개변수를 사용하면서도 강한 성능을 달성한다.