[논문 리뷰] State Space Models as Foundation Models: A Control Theoretic Overview

Carmen Amo Alonso, Jérôme Sieber외 1명|arXiv (Cornell University)|2024. 03. 25.

Fault Detection and Control Systems인용 수 4

한 줄 요약

이 논문은 상태공간모델(SSM)을 기초모델로 삼아 제어이론적 분석을 제시하며, 순차 모델링에서 어텐션 메커니즘을 대체할 잠재력을 입증한다. 장거리 아레나(LRA) 벤치마크에서 선형 시간 불변(LTI) SSM이 선형 시간 변동(LTV) SSM보다 성능이 뛰어나지만, LTV 모델은 더 일반적임에도 불구하고, 제어 이론적 관점에서 안정성의 경계가 모델 성능에 결정적인 역할을 한다는 점을 드러낸다.

ABSTRACT

In recent years, there has been a growing interest in integrating linear state-space models (SSM) in deep neural network architectures of foundation models. This is exemplified by the recent success of Mamba, showing better performance than the state-of-the-art Transformer architectures in language tasks. Foundation models, like e.g. GPT-4, aim to encode sequential data into a latent space in order to learn a compressed representation of the data. The same goal has been pursued by control theorists using SSMs to efficiently model dynamical systems. Therefore, SSMs can be naturally connected to deep sequence modeling, offering the opportunity to create synergies between the corresponding research areas. This paper is intended as a gentle introduction to SSM-based architectures for control theorists and summarizes the latest research developments. It provides a systematic review of the most successful SSM proposals and highlights their main features from a control theoretic perspective. Additionally, we present a comparative analysis of these models, evaluating their performance on a standardized benchmark designed for assessing a model's efficiency at learning long sequences.

연구 동기 및 목표

• 기초모델과 제어이론 간 격차를 해소하기 위해 SSM을 시스템이론적 관점에서 분석한다.
• 장거리 아레나(LRA) 벤치마크에서 최신 SSM의 성능을 평가하여 장기적 맥락 학습 효율성에 초점을 맞춘다.
• LTV 기반 SSM보다 LTI 기반 SSM이 더 뛰어난 성능을 내는 이유를 탐구한다.
• 특히 고유값 역학과 안정성에 관해 SSM 설계의 열린 연구 질문을 규명한다.
• 해석 가능성과 설계 기회를 강조함으로써 제어이론과 기초모델 연구 간 상호 교류를 촉진한다.

제안 방법

• 논문은 선형 시스템 이론의 관점에서 S4, S4D, S5, LRU, S6, RG-LRU 등의 주요 SSM 아키텍처를 검토한다.
• 상태전이 행렬과 출력 행렬을 사용한 상태공간 방정식을 통해 SSM을 이산 시간 선형 시간 불변(LTI) 및 선형 시간 변동(LTV) 시스템으로 수식화한다.
• 모든 SSM 변종을 표준화된 LRA 벤치마크에서 구현하고 벤치마크를 수행하였으며, 이는 이전에 보고되지 않은 S6 및 RG-LRU를 포함한다.
• 특히 경계 안정성에 초점을 맞춰 고유값 초기화가 모델 성능에 미치는 영향을 분석한다.
• 일관된 초모수 및 학습 프로토콜을 사용해 SSM을 트랜스포머와 무작위 기반 모델과 비교한다.
• 이론적 분석은 제어이론에 기반하며, 특히 안정성 조건과 시스템의 관측 가능성/제어 가능성에 중점을 둔다.

실험 결과

연구 질문

• RQ1 LTV 시스템은 더 일반적인 클래스임에도 불구하고, LTI 기반 SSM이 LRA 벤치마크에서 일관되게 LTV 기반 SSM을 앞서는 이유는 무엇인가?
• RQ2 특히 경계 안정성에서 고유값 배치가 SSM 성능에 미치는 역할은 무엇인가?
• RQ3 안정성과 관측 가능성과 같은 제어이론 원칙을 어떻게 활용해 SSM 설계와 해석 가능성을 향상시킬 수 있는가?
• RQ4 원칙적인 시스템이론적 설계를 통해 LTV 기반 SSM이 LTI 대응 모델과 유사한 성능을 달성할 수 있는가?
• RQ5 입력에 의존하는 시스템 행렬의 이론적 한계는 무엇이며, 학습 역학에 어떤 영향을 미치는가?

주요 결과

• LTI 기반 SSM(S4, S4D, S5, LRU)은 LVA 벤치마크에서 LTV 기반 SSM(S6, RG-LRU)과 트랜스포머 모두를 압도적으로 앞서며, 특히 장기 맥락 작업에서 뛰어난 성능을 보인다.
• 더 일반적인 LTV 기반 모델인 S6와 RG-LRU는 초모수 조정 및 경계 안정성에 대한 고유값 초기화를 거친 후에도 LTI 모델의 성능을 따라잡지 못했다.
• 고유값을 경계 안정성 방향으로 유도하면 LTI 모델의 성능은 향상되었지만, LTV 모델에서는 성능이 악화되거나 학습이 불가능해지는 것으로 나타나, 안정성 행동에 근본적인 차이가 있음을 시사한다.
• LRA 벤치마크 결과는 현재 LTV 매개변수화 방식이 LTI 변종에 비해 여전히 효과적이지 않음을 시사하며, 이는 이론적 우월성에도 불구하고 그렇다.
• 연구는 중요한 괴리점을 드러낸다: LTV 시스템은 이론적으로 더 표현력이 뛰어나지만, 실제로는 LTI 시스템에 뒤지며, 이는 설계와 안정성에 대한 열린 질문을 제기한다.
• 제어이론은 안정성과 시스템이론적 분석을 통해 SSM의 해석 가능성과 설계 향상에 유망한 프레임워크를 제공한다.