[논문 리뷰] Liquid Structural State-Space Models

Ramin Hasani, Mathias Lechner외 4명|arXiv (Cornell University)|2022. 09. 26.

Neural Networks and Applications인용 수 13

한 줄 요약

이 논문은 액체 시간 상수(LTC) 네트워크의 입력 적응형 동역학과 S4의 효율적이고 구조화된 파rameterization을 통합한 새로운 상태공간 모델인 Liquid-S4를 소개한다. S4의 고정된 상태 전이 행렬을 대신하여 입력에 따라 변하는 행렬로 교체함으로써, Liquid-S4는 입력에 맞는 시간 동역학을 학습하며, 파arameter 수를 30% 줄이고 Long-Range Arena 벤치마크에서 평균 정확도 87.32%를 기록함으로써 장거리 시퀀스 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

A proper parametrization of state transition matrices of linear state-space models (SSMs) followed by standard nonlinearities enables them to efficiently learn representations from sequential data, establishing the state-of-the-art on a large series of long-range sequence modeling benchmarks. In this paper, we show that we can improve further when the structural SSM such as S4 is given by a linear liquid time-constant (LTC) state-space model. LTC neural networks are causal continuous-time neural networks with an input-dependent state transition module, which makes them learn to adapt to incoming inputs at inference. We show that by using a diagonal plus low-rank decomposition of the state transition matrix introduced in S4, and a few simplifications, the LTC-based structural state-space model, dubbed Liquid-S4, achieves the new state-of-the-art generalization across sequence modeling tasks with long-term dependencies such as image, text, audio, and medical time-series, with an average performance of 87.32% on the Long-Range Arena benchmark. On the full raw Speech Command recognition, dataset Liquid-S4 achieves 96.78% accuracy with a 30% reduction in parameter counts compared to S4. The additional gain in performance is the direct result of the Liquid-S4's kernel structure that takes into account the similarities of the input sequence samples during training and inference.

연구 동기 및 목표

• 장거리 순차 데이터를 위한 구조적 상태공간 모델(SSM)의 일반화 및 인과적 추론 능력을 향상시키기 위해.
• LTC와 같은 연속 시간 신경망의 확장성 및 표현력의 한계를 S4의 효율적 커널 계산과 통합함으로써 해결하기 위해.
• 추론 중에 입력 시퀀스에 따라 동적으로 적응하는 선형 상태공간 모델을 개발하여 텍스트, 오디오, 이미지 및 시간 시리즈를 포함한 다양한 모odal에서 성능 향상을 이루기 위해.
• S4 및 기타 최신 기술 모델과 비교해 파arameter 수를 줄이면서도 여러 벤치마크에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• 입력에 따라 변화하는 상태 전이 역학을 갖는 선형화된 액체 시간 상수(LTC) 상태공간 모델을 제안: $\dot{x} = (\mathbf{A} + \mathbf{B}u)x + \mathbf{B}u$, 여기서 $u$는 입력이다.
• S4 프레임워크를 응용하여 상태 전이 행렬에 대각선 + 낮은 질서 분해를 적용함으로써 주파수 도메인 커널 변환을 통해 효율적인 계산을 가능하게 한다.
• 시간 지연 간의 입력 신호 유사성을 고려하는 새로운 컨볼루션 커널을 도입하여, 표준 S4를 넘어서 표현 학습 능력을 향상시킨다.
• 히포(hippo) 투영 기법을 사용하여 과거 신호 내용을 기억함으로써 장거리 의존성을 유지한다.
• 역 푸리에 변환을 활용하여 시간 도메인에서 커널을 효율적으로 계산함으로써 계산 효율성을 유지한다.
• S4-LegS와 동일한 파arameter화 방식을 활용하여 직접 비교 및 기존 S4 구현과의 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 액체 시간 상수 네트워크에서 유도된 입력 적응형 상태 전이 역학이 구조화된 상태공간 모델에 효과적으로 통합되어 장거리 시퀀스에서의 일반화 능력을 향상시킬 수 있는가?
• RQ2 시간 지연 간의 신호 유사성을 반영하는 입력 의존적 커널 항목이 다양한 시퀀스 모델링 작업에서 성능 향상에 기여하는가?
• RQ3 선형화된 LTC 공식화가 S4의 효율성과 확장성은 유지하면서도 S4를 초월하는 성능을 내는가?
• RQ4 이미지 분류, 음성 인식, 의료 시간 시리즈와 같은 장거리 시퀀스 작업에서 Liquid-S4의 성능이 S4, 트랜스포머, RNN, CNN과 비교해 어떻게 되는가?
• RQ5 Liquid-S4의 파arameter 수 감소가 정확도를 희생시키지 않고 성능 향상에 얼마나 기여하는가?

주요 결과

• Liquid-S4는 Long-Range Arena 벤치마크의 모든 여섯 개 작업에서 평균 정확도 87.32%로 새로운 최신 기술 수준(SOTA) 성능을 달성했다.
• 원본 그대로의 Speech Command 데이터셋에서 Liquid-S4는 S4 대비 30%의 파arameter 수 감소로 96.78%의 정확도를 달성했다.
• BIDMC 생체 신호 데이터셋에서 Liquid-S4는 심박수 예측에서 S4-LegS 대비 8.7% 향상, 호흡수 예측에서 36%, 산소 포화도 예측에서 26.67% 향상되었다.
• 순서 $p=3$인 액체 커널을 사용한 Liquid-S4는 1D 픽셀 수준의 이미지 분류에서 S4 및 트랜스포머 기반 모델을 모두 능가하는 뛰어난 성능을 보였다.
• 16kHz Speech Command 데이터셋에서 Liquid-S4는 강력한 제로샷 일반화 능력을 보이며 96.78%의 정확도를 기록했고, SC10 축소 버전에서는 98.51%의 정확도로 SOTA 성능을 유지했다.
• 작은 커널 크기(예: ListOps 및 IMDB의 경우 최소 7 단위)만으로도 높은 성능를 달성할 수 있었으며, 파arameter 수를 크게 줄이면서도 정확도를 유지하거나 향상시켰다.