[논문 리뷰] EchoMamba4Rec: Harmonizing Bidirectional State Space Models with Spectral Filtering for Advanced Sequential Recommendation

Yuda Wang, Xuxin He외 1명|arXiv (Cornell University)|2024. 06. 04.

Machine Learning in Healthcare인용 수 4

한 줄 요약

EchoMamba4Rec는 장기적 의존성 모델링과 추론 효율성을 향상시키기 위해 이중방향 Mamba 상태공간 네트워크와 FFT를 통한 스펙트럼 필터링을 융합하는 새로운 순차적 추천 모델을 제안한다. 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하면서도 선형 확장성과 낮은 메모리 사용량을 유지한다.

ABSTRACT

Predicting user preferences and sequential dependencies based on historical behavior is the core goal of sequential recommendation. Although attention-based models have shown effectiveness in this field, they often struggle with inference inefficiency due to the quadratic computational complexity inherent in attention mechanisms, especially with long-range behavior sequences. Drawing inspiration from the recent advancements of state space models (SSMs) in control theory, which provide a robust framework for modeling and controlling dynamic systems, we introduce EchoMamba4Rec. Control theory emphasizes the use of SSMs for managing long-range dependencies and maintaining inferential efficiency through structured state matrices. EchoMamba4Rec leverages these control relationships in sequential recommendation and integrates bi-directional processing with frequency-domain filtering to capture complex patterns and dependencies in user interaction data more effectively. Our model benefits from the ability of state space models (SSMs) to learn and perform parallel computations, significantly enhancing computational efficiency and scalability. It features a bi-directional Mamba module that incorporates both forward and reverse Mamba components, leveraging information from both past and future interactions. Additionally, a filter layer operates in the frequency domain using learnable Fast Fourier Transform (FFT) and learnable filters, followed by an inverse FFT to refine item embeddings and reduce noise. We also integrate Gate Linear Units (GLU) to dynamically control information flow, enhancing the model's expressiveness and training stability. Experimental results demonstrate that EchoMamba significantly outperforms existing models, providing more accurate and personalized recommendations.

연구 동기 및 목표

• Transformer와 같은 주의 기반 모델의 순차적 추천에서 발생하는 제곱형 계산 복잡도와 메모리 제약을 해결한다.
• 제어 이론에서 유래한 상태공간 모델(SSM)을 활용하여 장기적 순차적 의존성을 효율적으로 선형 시간에 모델링한다.
• 이중방향 처리와 주파수 도메인 필터링을 통합하여 과거와 미래 사용자 상호작용에서 더 풍부한 시간 패턴을 포착한다.
• 학습 가능한 게이팅 선형 단위(GLU)와 구조화된 상태 행렬을 통해 모델의 표현력과 학습 안정성을 향상시킨다.
• Mamba, Transformer, RNN과 같은 최신 기술 수준(SOTA) 모델에 비해 더 높은 추천 정확도와 추론 효율성을 달성한다.

제안 방법

• 선택적 SSM을 사용하여 사용자 상호작용 시퀀스를 정방향과 역방향 모두에서 처리하는 이중방향 Mamba 모듈을 적용한다.
• 빠른 푸리에 변환(FFT)을 사용하여 아이템 임베딩을 주파수 도메인으로 변환하고, 학습 가능한 필터를 통해 스펙트럼 필터링을 수행한다.
• 역행렬 푸리에 변환을 통해 필터링된 임베딩을 재구성하여 노이즈를 감소시키고 표현 품질을 향상시킨다.
• 게이팅 선형 단위(GLU)를 통합하여 정보 흐름을 동적으로 제어함으로써 모델의 표현력과 학습 안정성을 향상시킨다.
• 필터링된 임베딩을 잔차 연결과 레이어 정규화와 결합하여 안정적인 학습과 향상된 특징 학습을 달성한다.
• Mamba 블록에서 구조화된 상태 행렬을 활용하여 선형 계산 복잡도와 하드웨어 효율적인 추론을 보장한다.

실험 결과

연구 질문

• RQ1 Mamba 기반 모델에서 이중방향 처리가 미래의 맥락을 활용함으로써 순차적 추천 성능을 크게 향상시킬 수 있는가?
• RQ2 주파수 도메인에서의 스펙트럼 필터링이 사용자 행동 시퀀스의 표현 학습과 노이즈 억제에 어느 정도 기여하는가?
• RQ3 GLU 단위의 통합이 SSM 기반 추천 모델의 표현력과 학습 안정성에 어떤 영향을 미치는가?
• RQ4 EchoMamba4Rec은 장기적 순차적 추천 작업에서 정확도와 추론 효율성 측면에서 기존의 최신 기술 수준(SOTA) 모델을 초월하는가?
• RQ5 장기적인 사용자 상호작용 시퀀스로 확장되더라도 제안된 모델이 낮은 메모리 소비를 유지할 수 있는가?

주요 결과

• MovieLens-1M 데이터셋에서 EchoMamba4Rec는 HR@10 점수 0.3215를 기록하여 두 번째로 높은 성능을 낸 Bi-Mambaformer4Rec(0.3164)를 0.0051점 이상 앞서며 최고 성능 기록.
• Amazon-Beauty에서 EchoMamba4Rec는 NDCG@10 0.1529를 달성하여 Mamba4Rec(0.1509)와 BERT4Rec(0.0979)를 모두 앞서며 뛰어난 랭킹 품질을 입증.
• Amazon-Video-Games 데이터셋에서 EchoMamba4Rec는 MRR@10 0.0445를 기록하여 모든 모델 중에서 가장 높은 성능을 보이며 첫 번째 관련 항목 예측 능력 향상을 입증.
• RTX 4090에서 EchoMamba4Rec는 에포크당 학습 시간을 70.187초로 단축시켜 SASRec(163.543 s)와 BERT4Rec(215.800 s)보다 빠르게 하며, GPU 메모리 사용량은 1.61 GB에 머문다.
• 모델는 낮은 메모리 사용량(1.61 GB)을 유지하면서도 추론 시간을 0.0252초로 단축시켜 Mamba4Rec(0.0305 s)를 초월하고, Transformer보다 5배 이상 빠른 성능을 기록.
• 제거 실험(ablation study) 결과, 이중방향 처리와 스펙트럼 필터링 모두 성능 향상에 기여하며, 전체 모델이 모든 메트릭에서 제거된 변종보다 뛰어난 성능을 보였다.