[논문 리뷰] SpikeMba: Multi-Modal Spiking Saliency Mamba for Temporal Video Grounding

Wenrui Li, Xiaopeng Hong외 2명|arXiv (Cornell University)|2024. 04. 01.

Visual Attention and Saliency Detection인용 수 4

한 줄 요약

SpikeMba는 시간적 비디오 지문 작업을 위한 새로운 다중 모odal 스파iking 색소성 Mamba 네트워크를 제안한다. 이 모델은 동적 색소성 제안 탐지에 스파이크 신경망(SNNs)을 통합하고, 장기 시퀀스의 기억을 향상시키기 위해 학습 가능한 관련 슬롯을 활용한다. 모델은 QVHighlights 테스트 세트에서 85.6%의 R1 및 75.5%의 mAP를 기록하며, 개선된 문맥 추론과 색소성 정렬을 통해 기존 방법을 초월하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Temporal video grounding (TVG) is a critical task in video content understanding, requiring precise alignment between video content and natural language instructions. Despite significant advancements, existing methods face challenges in managing confidence bias towards salient objects and capturing long-term dependencies in video sequences. To address these issues, we introduce SpikeMba: a multi-modal spiking saliency mamba for temporal video grounding. Our approach integrates Spiking Neural Networks (SNNs) with state space models (SSMs) to leverage their unique advantages in handling different aspects of the task. Specifically, we use SNNs to develop a spiking saliency detector that generates the proposal set. The detector emits spike signals when the input signal exceeds a predefined threshold, resulting in a dynamic and binary saliency proposal set. To enhance the model's capability to retain and infer contextual information, we introduce relevant slots which learnable tensors that encode prior knowledge. These slots work with the contextual moment reasoner to maintain a balance between preserving contextual information and exploring semantic relevance dynamically. The SSMs facilitate selective information propagation, addressing the challenge of long-term dependency in video content. By combining SNNs for proposal generation and SSMs for effective contextual reasoning, SpikeMba addresses confidence bias and long-term dependencies, thereby significantly enhancing fine-grained multimodal relationship capture. Our experiments demonstrate the effectiveness of SpikeMba, which consistently outperforms state-of-the-art methods across mainstream benchmarks.

연구 동기 및 목표

• 비디오 지문 작업에서 유의미한 객체에 대한 신뢰도 편향을 해결하여, 의미적으로 관련성이 있지만 미세한 동작를 간과하지 않도록 한다.
• 장시간 비디오 시퀀스의 한계를 극복하기 위해 기억 용량을 향상시키고 장기 의존성을 효과적으로 모델링한다.
• 스파이크 신경망을 활용해 세밀한 색소성 제안 탐지를 통해 다중 모달 특징 통합을 향상시킨다.
• 유연한 관련 슬롯을 갖춘 문맥 순간 추론기로 문맥 정보 보존과 의미적 관련성 탐색 간의 균형을 맞춘다.
• 효율적인 상태 공간 모델(SSMs)을 사용해 계산 비용을 줄이고도 높은 성능을 유지하는 시간적 비디오 지문 작업을 실현한다.

제안 방법

• 임계값 메커니즘을 통해 이진 스파이크 시퀀스를 생성하는 SNN 기반의 스파이크 색소성 탐지기를 도입하여, 시간 단계에 적응하는 동적 제안 생성을 가능하게 한다.
• 기존 지식을 인코딩하고 다중 수준의 다중 모달 특징를 선택적으로 표현함으로써 장시간 비디오의 기억을 향상시키는 학습 가능한 관련 슬롯을 제안한다.
• 관련 슬롯을 활용하여 문맥 보존과 의미적 관련성 탐색 간의 균형을 맞추는 문맥 순간 추론기(CMR)를 설계한다.
• 선형 복잡도로 장거리 의존성을 모델링할 수 있는 상태 공간 모델(SSMs) 기반의 다중 모달 관련 Mamba 블록을 구현한다.
• 특징 표현을 정교화하고 제안 정확도를 향상시키기 위해 대비 손실과 색소성 제안 손실을 통합한다.
• 입력에 따라 정보를 적극적으로 전파하거나 잊어버리는 것을 동적으로 설정하는 SSM의 동적 파rameterization을 적용하여 관련 비디오 세그먼트에 대한 반응성을 향상시킨다.

Figure 1 : An illustration of the challenges in video grounding task (left) and the overall architecture of our proposed model (right). On the left, a scenario underscores the problem of confidence bias towards salient objects, with models overemphasizing dramatic changes. On the right, we employ th

실험 결과

연구 질문

• RQ1 스파이크 신경망은 다중 모달 비디오 지문 작업에서 세밀한 색소성 제안을 효과적으로 탐지할 수 있는가?
• RQ2 학습 가능한 관련 슬롯은 장시간 비디오 시퀀스에서 기억 용량과 문맥 이해도를 어떻게 향상시키는가?
• RQ3 문맥 순간 추론기가 비디오 지문 작업에서 의미적 관련성과 문맥 보존 간의 균형을 어느 정도 잘 맞추는가?
• RQ4 SNN과 SSM의 통합은 기존의 트랜스포머 기반 모델에 비해 정확도와 효율성 측면에서 뛰어나게 작용하는가?
• RQ5 다양한 스파이크 시간 단계와 손실 구성 요소는 벤치마크 데이터셋에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• SpikeMba는 QVHighlights 테스트 세트에서 85.6%의 Recall@0.5와 75.5%의 mAP를 기록하며 최신 기술 수준의 방법을 초월한다.
• 제거 실험 결과, 문맥 순간 추론기(CMR)를 제거할 경우 테스트 세트에서 mAP(Avg.)가 35.46%로 감소하여, 의미적 추론에서 그 핵심적 역할을 확인한다.
• 스파이크 색소성 탐지기 도입으로 기준 모델 대비 mAP(Avg.)가 4.8% 향상되어 색소성 정렬의 효과성을 입증한다.
• 스파이크 시간 단계를 T=4에서 T=8로 증가시킬 경우 mAP(Avg.)가 42.03%에서 44.81%로 상승하여, 더 높은 시간 해상도로 인한 향상된 시간 처리 능력을 보여준다.
• 대비 손실을 제거할 경우 테스트 세트에서 mAP(Avg.)가 41.70%로 감소하여, 분류 가능한 특징 표현 학습에 있어 그 중요성을 확인한다.
• 관련 슬롯이 있는 모델는 그와 관련 없는 변형보다 특히 높은 시간 단계에서 뛰어난 성능을 보이며, 복잡한 시간적 추론에서의 가치를 입증한다.

Figure 2 : Architectural Overview of the Multi-Modal Spiking Saliency Mamba. The contextual moment reasoner dynamically leverages relevant slots for semantic association and inference. The spiking saliency detector generates a potential proposal set. The multi-modal relevant mamba block enhances lon