[논문 리뷰] Hierarchical State Space Models for Continuous Sequence-to-Sequence Modeling

Raunaq Bhirangi, Chenyu Wang외 5명|arXiv (Cornell University)|2024. 02. 15.

Advanced Database Systems and Queries인용 수 5

한 줄 요약

HiSS는 실제 센서 데이터에서 연속 시퀀스-투-시퀀스 예측을 개선하기 위해 상태-공간 모델의 두 수준의 시간적 계층을 구축하며, LSTM과 트랜스포머를 능가하고 더 작은 데이터셋에도 확장성이 좋습니다.

ABSTRACT

Reasoning from sequences of raw sensory data is a ubiquitous problem across fields ranging from medical devices to robotics. These problems often involve using long sequences of raw sensor data (e.g. magnetometers, piezoresistors) to predict sequences of desirable physical quantities (e.g. force, inertial measurements). While classical approaches are powerful for locally-linear prediction problems, they often fall short when using real-world sensors. These sensors are typically non-linear, are affected by extraneous variables (e.g. vibration), and exhibit data-dependent drift. For many problems, the prediction task is exacerbated by small labeled datasets since obtaining ground-truth labels requires expensive equipment. In this work, we present Hierarchical State-Space Models (HiSS), a conceptually simple, new technique for continuous sequential prediction. HiSS stacks structured state-space models on top of each other to create a temporal hierarchy. Across six real-world sensor datasets, from tactile-based state prediction to accelerometer-based inertial measurement, HiSS outperforms state-of-the-art sequence models such as causal Transformers, LSTMs, S4, and Mamba by at least 23% on MSE. Our experiments further indicate that HiSS demonstrates efficient scaling to smaller datasets and is compatible with existing data-filtering techniques. Code, datasets and videos can be found on https://hiss-csp.github.io.

연구 동기 및 목표

• 소음이 많고 고주파 센서 데이터로부터의 연속 시퀀스-투-시퀀스 예측 문제를 해결한다.
• CSP 작업에 대한 대표 벤치마크를 제시하고 현대 시퀀스 모델을 평가한다.
• 예측을 개선하기 위해 시간 구조를 활용하는 계층적 아키텍처(HiSS)를 제안한다.
• CSP 작업에 대한 데이터 효율성과 전처리 필요성 감소를 시연한다.

제안 방법

• CSP-Bench를 도입하여 촉각 및 IMU 센서를 아우르는 여섯 데이터셋 벤치마크를 구축한다.
• 평면 기본 모델로 S4 및 Mamba와 같은 Deep State Space Models(SSMs)를 사용한다.
• 입력 시퀀스의 청크에 저수준 SSM을 쌓고 청크 특징을 출력으로 매핑하는 고수준 SSM을 결합한 HiSS를 제안한다.
• MSE 손실로 엔드-투-엔드 학습하고 샘플링 표준화(입력 50 Hz, 출력 5 Hz) 및 보조 특징으로의 1단계 차분 적용을 사용한다.
• 계층적 모델링이 평면 SSM 및 기타 베이스라인 대비 상당한 성능 향상을 보임을 입증하고 데이터 효율성 및 전처리 호환성을 분석한다.

실험 결과

연구 질문

• RQ1 SSMs가 CSP-Bench 작업에서 LSTM 및 Transformer와 비교하여 어떤 성능 차이를 보이는가?
• RQ2 HiSS가 단순 평면 모델을 넘어서 시간적 위계 구조를 활용해 이점을 제공하는가?
• RQ3 HiSS가 필터링과 같은 표준 센서 전처리와의 호환성을 가지는가?
• RQ4 HiSS가 적은 데이터 규모 및 고차원 입력에서 어떻게 성능을 발휘하는가?

주요 결과

Model type	모델 유형	Model Architecture	모델 아키텍처	MW (cm/s)	IS (cm/s)	JC (cm/s)	R (m/s)	V (m/s)	TC (m/s)
Flat	Transformer	2.3750	0.4600	1.0200	-	0.0432	-
Flat	LSTM	1.1685	0.3099	1.0740	0.0444	0.0353	0.1767
Flat	S4	1.3190	0.2617	0.9804	0.0382	0.0341	0.3483
Flat	Mamba	0.8830	0.1757	1.0640	0.0401	0.0319	0.3645
Hierarchical	Transformer | LSTM	0.9958	0.2527	0.9350	0.0421	0.0377	0.3197
Hierarchical	S4 | LSTM	0.6205	0.1574	0.8980	0.0363	0.0374	0.3583
Hierarchical	Mamba | LSTM	1.0268	0.2022	0.9060	0.0472	0.0372	0.4560
Hierarchical	S4 | S4	0.6590	0.1526	0.9080	0.0481	0.0322	0.3505
Hierarchical	Mamba | S4	0.7915	0.1925	1.0610	0.0442	0.0286	0.3638
Hierarchical	S4 | Mamba	0.6255	0.1551	0.9060	0.0265	0.0303	0.3438
Hierarchical	Mamba | Mamba	0.7248	0.1678	0.9050	0.0325	0.0251	0.3762

• SSMs(Mamba, S4)가 CSP-Bench에서 LSTM 및 Transformer보다 성능이 우수하며 작업 간 중간값 MSE가 10–14% 개선된다.
• HiSS는 작업 전반에서 최상위 평면 모델 대비 중간값 MSE를 약 23% 추가로 개선한다.
• 저수준 구성요소로 S4를 사용하는 HiSS 모델은 강력한 이득을 달성해 저수준 시간적 구조를 효과적으로 포착함을 보여준다.
• 다운샘플링만으로는 HiSS의 이점을 따라가지 못하며, HiSS가 단순한 다운샘플링보다 더 많은 정보를 추출함을 시사한다.
• HiSS는 데이터 효율성을 보여주며 더 작은 학습 서브셋에서도 잘 작동한다.
• TotalCapture는 입력/출력 차원이 높고 인간 생성 데이터의 노이즈가 커서 SSM과 HiSS의 실패 사례이다.